Pomiędzy ekspertami wciąż też trwa dyskusja, gdzie najlepiej jest realizować proces deduplikacji - jako element oprogramowania do tworzenia kopii bezpieczeństwa (tę metodę przyjęły m.in. firmy Avamar, Asigra i Symantec), jako bramę filtrującą dane przed zapisaniem na dysku lub macierzy dyskowej (Data Domain, Diligent Technologies i ExaGrid Systems), a może w wirtualnej bibliotece taśmowej, gdzie wszystkie dane są najpierw zapisywane, a dopiero później jest uruchamiany proces deduplikacji (FalconStor Software, Quantum i Sepaton). Na rynku pojawiły się już także pierwsze modele macierzy dyskowych wyposażonych w zintegrowane mechanizmy deduplikacji (oferują je EMC i NetApp).

Wdrażając oprogramowanie do deduplikacji, należy liczyć się z tym, że na pewno spowoduje ono ogólny spadek wydajności systemu. Np. deduplikacja wykonana przed przeprowadzeniem backupu zabiera moc obliczeniową serwera, a wykonana po przeniesieniu danych na wirtualną bibliotekę taśmową - zajmuje jej zasoby. Wśród potencjalnych użytkowników może pojawić się jeszcze jedna wątpliwość - czy system rzeczywiście będzie potrafił eliminować wyłącznie identyczne dane i nie usunie informacji, które są do siebie tylko podobne albo w wyniku zbiegu okoliczności mają identyczne kody nadmiarowe.

Trzeba więc wyjaśnić, że do porównania potencjalnie powtarzających się danych, moduł deduplikujący dzieli je na kawałki, używając algorytmu hash (z reguły MD-5). Dzięki temu każdy taki kawałek otrzymuje matematyczną reprezentację, co umożliwia wykonanie porównania. Teoretycznie możliwe jest, aby dwa różne fragmenty danych uzyskały identyczną wartość w tym procesie, ale zdaniem specjalistów, prawdopodobieństwo tego zdarzenia jest niemalże równe zeru. Mimo wszystko, niektórzy producenci już zdecydowali się na wykorzystanie nowych algorytmów, zapewniających jeszcze większe bezpieczeństwo danych, czyli SHA-1 lub SHA-2 (Secure Hash Algorithms) opracowanych przez amerykańską agencję NSA (National Security Agency).

Warto ulepszyć organizację

Znacznego obniżenia ilości przechowywanych danych można dokonać nie tylko przy pomocy deduplikacji. Wystarczy ponownie przemyśleć system backupu, zgodnie z którym chronimy nasze dane. Dla większości administratorów jest oczywiste, że największym marnotrawstwem jest codzienne wykonywanie pełnego backupu. Już samo wykonywanie backupu przyrostowego (incremental), gdzie zapisywane są tylko te dane, które uległy zmianie od daty ostatniego backupu, pozwoli na duże oszczędności. Wraz z tym powinno iść wdrożenie systemu rotacji nośników, którego podstawowe metody przedstawiono w ramce.