Dużo plików - duży kłopot

  • Marcin Marciniak,

Jeśli firma posiada centralizowane rozwiązanie backupowe z agentami dla obu maszyn, można przeprowadzić operację migracji danych za pomocą odtworzenia kopii bezpieczeństwa. Proces ten będzie na pewno szybszy od kopiowania danych za pomocą mało wydajnego CIFS, będzie także prostszy i bardziej odporny na błędy. W każdej chwili można go przerwać, wznowić, odtworzyć brakujące pliki i tak dalej.

Jeśli tylko zasoby IT pozwalają na odtwarzanie w ten sposób, jest to metoda, która sprawi najmniej kłopotów. Jej wadą jest brak defragmentacji, jeśli narzędzie działa blokowo. Ponadto nie każde oprogramowanie do wykonywania kopii bezpieczeństwa potrafi odtworzyć dane do macierzy NAS.

Linux i Samba

Aby połączyć kopiowanie plików ze zmniejszeniem stopnia fragmentacji systemu NTFS, należy operację kopiowania wykonywać sekwencyjnie, plik po pliku, a nie równocześnie, wielowątkowo. Chociaż operacja ta będzie trwała dłużej, fragmentacja systemu docelowego powinna być znacznie niższa, usprawniając pracę NTFS na maszynie docelowej. W odróżnieniu od powłoki systemu Windows, klient SMB/CIFS wbudowany w nowoczesne dystrybucje Linuksa obsługuje ścieżki dłuższe niż 256 znaków. Zatem użycie prostego narzędzia, takiego jak cp, umożliwi skopiowanie plik po pliku nawet bardzo obszernych zasobów, zawierających dziesiątki milionów obiektów przy bardzo zagnieżdżonej strukturze katalogów. Jednocześnie takie kopiowanie sprawi, że pliki po stronie docelowej będą tworzone sekwencyjnie, zmniejszając fragmentację systemu plików NTFS. W przypadku migracji z serwerów Windows do macierzy NAS, zjawisko fragmentacji nie jest tak dokuczliwe.

Niezawodny rsync

W środowisku systemów typu UNIX narzędzie do synchronizacji dwóch zasobów przy pomocy informacji o różnicy zawartości między nimi jest wykorzystywane od lat. Takim narzędziem jest rsync, który potrafi bardzo szybko synchronizować zasoby z dwóch serwerów, przy czym drobna zmiana danych wewnątrz dużego pliku nie wymaga przesyłania całej jego zawartości. Program ten potrafi działać jako demon (usługa systemowa, bez interakcji z sesją użytkownika) i umożliwia bardzo dobrze dopracowaną synchronizację plików między serwerami, także przez WAN. Jeśli administratorzy dysponują wystarczającą wiedzą, za pomocą rsync można przeprowadzać automatyczną synchronizację zasobów NAS przez WAN z zachowaniem uprawnień i atrybutów, w szyfrowanych sesjach SSL, zachowując przy tym odpowiedni priorytet transmisji danych, by unikać nadmiernego obciążenia łącza.

Jeśli wykorzystuje się serwer usługi rsync, po stronie maszyny z Windows można wykorzystać darmowe oprogramowanie DeltaCopy. Jest to ciekawa implementacja wykorzystująca rsync, ale dodatkowo dostarcza graficznych narzędzi do konfiguracji tego oprogramowania.

Podobnym oprogramowaniem zamkniętym na komercyjnej licencji jest Syncrify - wprowadza ono synchronizację zasobów w sesjach HTTPS, dzięki czemu usprawnia transfer danych między oddziałami firmy, a także ułatwia zarządzanie. Syncrify wymaga licencji komercyjnej, kosztuje około 250 USD per serwer.

Wirtualizacja NAS

Przy migracji bardzo dużej ilości danych z różnych serwerów CIFS na przykład do nowej macierzy, można posłużyć się wirtualizacją NAS. Technologia ta umożliwia synchronizację zasobów podczas pracy serwerów, ponadto przeniesienie lub skopiowanie woluminów do nowych urządzeń storage nie wymaga żadnych zabiegów rekonfiguracji klientów. Dodatkową zaletą nowoczesnych rozwiązań wirtualizacji jest autotiering - automatyczne przenoszenie plików między zasobami o różnej prędkości i różnym koszcie składowania. Wirtualizacja NAS radzi sobie nawet w przypadku bardzo dużej ilości danych.