Quicken Loans z Detroit jest największą firmą pożyczkową w Stanach Zjednoczonych specjalizującą się w udzielaniu kredytów hipotecznych online. Dla niej Big Data to nic nowego. Firma na co dzień przechowuje i przetwarza dane ponad 1,5 mln klientów oraz ich kredytów hipotecznych szacowanych w 2012 r. na sumę ok. 70 mld USD.

Menedżerowie Quicken Loans na poważnie zainteresowali się Big Data trzy lata temu. „Musieliśmy skupić się na opracowaniu strategii, jak poradzić sobie z ogromną ilością danych pochodzących z serwisów społecznościowych, m.in. z Twittera, Facebooka, czatów internetowych itp.” – mówi Linglong He, szefowa działu informatyki Quiken Loans. „To niezwykle ważne, w jaki sposób uporządkować Big Data, nie tylko z punktu widzenia administrowania danymi, ale z uwagi na to, że dane mogą mieć wpływ na całą strategię biznesową firmy” – dodaje.

Zobacz również:

• IDC CIO Summit – potencjał drzemiący w algorytmach
• Kwanty od OVHCloud dla edukacji
• Inteligentna chmura danych

Wcześniej firma miała odpowiadającą ówczesnym wymogom scentralizowaną sieć do zarządzania danymi. Ale niemal z dnia na dzień konieczna stała się jej reorganizacja. I nie chodziło tutaj nawet o fizyczne zwiększenie miejsca na dyskach przechowujących dane, ponieważ każdy, nawet największy dysk w końcu udałoby się zapełnić. Rozwiązaniem okazał się wybór struktury rozproszonej opartej na Hadoopie, która umożliwia szybsze i lepsze zarządzanie zbiorami danych, m.in. pozwala na przeprowadzanie operacji i obliczeń na wielkich ilościach danych.

Analityk firmy IDC Ashish Nadkarni obserwuje, że firmy coraz rzadziej rozważają budowanie olbrzymich silosów do przechowywania informacji i danych. „Coraz więcej systemów do magazynowania danych wdrażanych obecnie używa serwerów podłączonych do wewnętrznych dysków. Niemal wszyscy chcą teraz kopiować rozwiązania, jakie od dawna stosuje Facebook i Google, właśnie za pomocą wewnętrznych dysków w serwerach. Niektóre z nich podłączone są nawet do 48 dysków, przez co stają się samodzielnymi mechanizmami do przetwarzania i przechowywania danych”.

W epoce Big Data przedsiębiorstwa generują i otrzymują informacje oraz dane z prędkością światła. Tradycyjne modele przechowywania informacji nie mają szans, by zapanować nad taką ilością danych. Jak podaje firma Aberdeen Group, rocznie następuje 35-proc. przyrost zmagazynowanych w firmach informacji. Oznacza to, że działy IT w firmach muszą w ciągu 24–30 miesięcy podwajać pojemność dysków do przechowywania tak szybko zwiększających się danych. Już dzisiaj w działach IT amerykańskich firm przeznacza się średnio ok. 13% wartości budżetu na kwestie związane z przechowywaniem danych. W ciągu dwóch i pół lat ta kwota się podwoi, a w ciągu pięciu lat budżet działu IT będzie musiał w połowie być przeznaczany właśnie na magazynowanie informacji. Oznacza to, że menedżerowie już są o krok od utraty kontroli nad kosztami i lawinowym napływem informacji do firm. Organizacje zrozumieją, że nie mogą po prostu wydawać coraz większych pieniędzy na zwiększanie przestrzeni dyskowej, bo już zbliżamy się do granicy, za którą będzie to kosztowało zbyt wiele.

Mimo że koszty magazynowania danych rosną lawinowo, tak naprawdę ich wzrost nie wpływa na wdrażanie systemów, które mogłyby pomóc oszczędzić pieniądze w przyszłości. Przeciwnie – im więcej wydajemy na większe pojemności dysków, tym więcej będziemy musieli wydać w przyszłości, bo obecna przestrzeń się zapełni i będziemy musieli kupić nowe, większe przestrzenie na jeszcze większe ilości danych.

Nic nie wskazuje na to, by zalew nieuporządkowanych danych miał się zmniejszyć. Vince Campisi, dyrektor działu IT z firmy GE Software, uważa, że jednym z najważniejszych wyzwań, jakie stoją przed działami informatycznymi w organizacjach, jest takie poradzenie sobie z bałaganem wśród napływających danych, by móc z nich szybko i jak najtaniej wydobywać istotne i wartościowe dla firmy informacje. Jego zdaniem, tradycyjna analityka biznesowa, bazująca na „organicznym” przetwarzaniu danych, nadal ma znaczenie. Ale nie jest w stanie poradzić sobie z ogromną intensywnością napływania nowych informacji, których ilość znacznie przewyższa liczbę transakcji czy operacji biznesowych, jakie przeprowadza średnia firma w ciągu dnia.