Pomalé kopírování malých souborů

[Herda]

Mám flashku, která má sekv. rychlosti čtení a zápisu (MB/s) 208/134 , při kopírování velkého souboru dosahuje 150/99, ale problém je ,že kopírování velkého množství souborů v kratším čase uplně zastaví flešku (a je pomalejší samozřejmě, i když to běží) a pak to pokračuje dál. Vím, že menší soubory se ukládají pomaleji, ale mě zarazilo, že je to až takhle Moc.

Když kopíruju soubory o velikosti 2-10kB (je jich dost, např 20000, jen aby kopírován trvalo nějaký měřitelný čas), tak je to ten nejhorší příklad ,rychlost je žalostná.

Chvíli (30s) to běží 300kBs, ale pak to se to zpomalí (jako by se to zastavilo spíš) na 3kB/s. A takhle se to opakuje dokola. (5 sekund rychlého kopírování 300-800 kB/s, dole v podrobnostech je vidět jak se střídají jména souborů,)pak pomalá fáze (rychlost2.77 kB/s nebo 100b/s, a jméno souboru během té čekací fáze stojí). A proč kopírování z té flashky je také pomalé (2MB/s) ?

Mám pocit, že roli nehraje velikost souborů, ale počet souborů, které určují, kdy se to sekne(řekl bych že 200-400), případně doba, po kterou je počet souborů za sekundu vyšší než nějaká kritická hodnota. Když jde o nějaké normální soubory (větší, třeba 0,5-2MB), tak rychlost klesne třeba jen na 50 MB/s.

Čím to může být? Nějaké zahlcení flash kontroleru flashky? Nebo špatně naformátované? Mám tam exfat(16kB).

v taskmgr i kopírovací okno, který ukazuje průbeh kopírování , je vidět, jak tam jsou pulzy, kdy je flash nezatíženená a zatížená na 100%. Mám nastaveno Lepší výkon v zásadách.

[Reklama]

[Franta12345678]

Je třeba si uvědomit, že soubory se nejprve čtou z HDD a pak zapisují na USB. Jaký je stav HDD?

[petr22]

Cim to muze byt neni treba resit, tak to ma byt a je to tak spravne.

Pokud se ma zapsat dvacet tisic malych souboru na flashdisk, je treba je napred zapakovat do archivu a ten nahrat na flashdisk - jeden velky soubor uz to bude zapisovat rychle.

Velke mnozstvi malych souboru se bude vzdy zapisovat pomalu - na harddisk, na flashdisk, na pametovou kartu. To ze to chvili jde rychle je cache - zpomali se to az ve chvili, kdy se ceka az se data zapisou.

[Herda]

Franta:Zdroj jsem nezmiňoval, protože je rychlý. SSD SATA 3, random read s queue depth 1 ( 256MB), 4kB 24MB/s, 8k, 41 MB/s, 16K 74MB/s.

petr:
A proč to windows nezapíše tak (když je zvoleno lepší výkon - povolit zápis do mezipaměti Windows), že se to bude zapisovat s využitím cache, že třeba windows to množství souborů shlukne, aby to odpovídalo větším blokům dat ty pak z cache nahrát na USB, kde bych očekával sekvenční rychlost z benchmarku (130 MB/s), nebo aspoň 100 MB/s při zápisu velkého souboru z windows. Proč to tak nejde? To ještě nikdo nevymyslel. A jinak ta flashka si tuto rychlost udržuje trvale, není to jako u nějakých krámů sandisk, kde po 1GB klesne rychlost z 90 na 30 MB/s.

[petr22]

Vzdyt to tak funguje. V extremnim dokonce tak, ze to na pohled zapise rychle a pak dalsi pul hodiny cekas nez se na pozadi data zapisou a je mozne flashku odpojit.

Ano, ten disk ma zapis 100 MB/s, ale pouze pri zapisu velkych souboru. Takhle to bylo uz pred 25 lety a kdyz jsi v DOSu nezapnul nejakou formu cache, tak to klidne kopirovalo data na harddisku pul dne.

Prave proto existuji i ty pakovaci programy (nektere nemaji ani kompresi) - aby se kopiroval jeden velky archiv a necekalo se desitky minut nez se zkopiruje milion malych souboru.