Zaloha - spousta malých souborů

[Zivan]

Ahoj,
dostal se ke mě oklikou problém se zálohováním a třeba s tím má někdo zkušenosti a řešení už dávno vymyslel.

Jde o PC s Windows, kde jede nějaký laboratorní program, jednou měsíčně se dělá záloha výsledků na externí disk (na dva) a jednou za čas promazání starších dat na PC, protože tam dochází místo.

Problém je s tou měsíční zálohou, program vytváří mraky malých souborů a záloha trvá fakt dlouho. Např. za jeden mesic je to cca 94GB v 0,5 milionu adresarich a 1,7 milionech souboru.

Jde o stolni PC s USB 3.0 a externi 4TB disk WD Essential taky s USB 3.0, naformatovany na NTFS. Zkousel jsem se divat na rychlost kopirovani a jede to sotva okolo 3-5MB/s. Uz jen vytvareni seznamu souboru, ktere je potreba zkopirovat trva desitky minut.

Napada me jen ty data v PC zabalit treba do ZIPu a zalohovat az jeden velky ZIP.

[Reklama]

[zeus]

Uvaha v posledni vete je spravna, ale podivej se radeji na limity pakovacich programu. Variantou je ty archivy pripravovat prubezne za kratsi casovy usek.
//E: Tak na limit narazis asi jen u puvodniho pkzip-u

[petr22]

Ze se miliony malych souboru kopiruje pomalu je normalni, par TB muze trvat treba 14 dnu.

Reseni je kazdy den automaticky je pakovat do archivu a odmazavat, takze na konci
mesice budou jen archivy a ty pujdou rychle.

[Zivan]

Problem u automatickeho zalohovani kazdy den bude v tom, ze si tam ty analyzy pousti vice lidi a nekdy to jede treba celou noc. Takze automaticka nocni zaloha by mela jen cast dat.

Ten program pry vytvari adresare po mesicich, takze si pak nekdo vzpomene, ze uz je duben, prijde s externim diskem, pripoji ho, da kopirovat unor a brezen a trva to dva dny. Pak pripoji druhy externi disk a jede to dalsi dva dny.

[ITCrowd]

Tohle lze samozřejmě ošetřit.
Osobně bych to řešil asi takto:
- koupil bych další HDD do počítače
- 1x měsíčně spouštět skript, který zajistí zazálohování dat a nahraje je na ten koupený HDD.
- každého 2. v měsíci v určenou dobu vyzvat uživatele k připojení externího HDD
- automatizace mazání dat z původního HDD
A kyby bylo více peněz, pak koupit sí´tové úložiště a zálohy ukládat tam. Zcela bez nutnosti interakce s člověkem.

/EDIT:
zazálohovaná data na druhém HDD už budou samozřejmě "zabalená"

[Zivan]

Tohle resi uzivatele toho programu (a ja), dalsi disk do toho PC jim nikdo nekoupi. Tam je i o metr delsi sitovy kabel takovy problem, ze si ho lidi radeji koupi za sve.

Predpokladam, ze treba NTFS komprese na tech externich discich moc nepomuze, protoze nejvetsi cas zabere vytvareni a zavirani tech milionu souboru.

Edit:
Ale overim, jestli v tom PC neni druhy disk, ktery treba ani nikdo nepouziva.

[faraon]

Ideální práce pro tar: https://www.root.cz/clanky/unixova-komprese-v-praxi-tar/

Kompletní seznam parametrů: https://linux.die.net/man/1/tar

Podívej se také na: https://www.acronis.cz/kb/diferencialni-zaloha/ https://www.acronis.cz/kb/inkrementalni-zaloha/