Przez wiele lat big data było w zasadzie teoretycznym problemem. Technologiczne możliwości przez długi czas pozwalały de facto jedynie na gromadzenie wielkich wolumenów danych. Ich przetwarzanie, z uwagi na często nieustrukturyzowany charakter i ograniczone moce obliczeniowe programów analitycznych, było poza zasięgiem większości przedsiębiorstw. Obecnie mamy do czynienia z sytuacją, w której bariery technologiczne powoli przestają mieć znaczenie.

Technologia pozwalająca wykorzystywać big data, niegdyś droga i trudno dostępna, staje się osiągalna dla coraz szerszego grona przedsiębiorstw i instytucji. „Kiedyś raporty w ZUS były niewykonalne, jako bardzo złożone zapytanie do zbioru danych, jaki gromadzimy” – mówi Dariusz Śpiewak, członek zarządu Zakładu Ubezpieczeń Społecznych.

Zobacz również:

• IDC CIO Summit – potencjał drzemiący w algorytmach

Dane przyrastały, jednak ich wykorzystanie było niemożliwe. Gdy pojawiły się możliwości technologiczne w akceptowalnej cenie, ZUS zainwestował w akcelerator, dzięki czemu czas oczekiwania na raporty skrócił się najpierw z wielu miesięcy do dwóch tygodni, potem zaś do 72 godzin. „Koszt związany z uruchomieniem takiego sposobu przetwarzania jest nieproporcjonalny do przyspieszenia, jakie otrzymaliśmy” – konkluduje Dariusz Śpiewak. Podobne spostrzeżenia w kwestii barier technologicznych ma Adam Grzebieluch, wiceprezes zarządu Banku Ochrony Środowiska: „Big data to nie problem. To kwestia decyzji, w jakim stopniu i w jakim celu chcemy wykorzystać dane. Z perspektywy organizacji komercyjnej celem nadrzędnym jest ich wykorzystywanie w celach komercyjnych, osiągania wartości w postaci lepszej sprzedaży, lepszych usług”.

Określić cele

Kiedy stopniowo zanikają ograniczenia technologiczne, pozostaje fundamentalne pytanie: skoro można już sięgnąć do zbiorów typu big data, co tak naprawdę można będzie wynieść z nagromadzonych tam danych? Okazuje się, że odpowiedź na to pytanie nie jest już tak oczywista.

Gromadzenie wielkich zbiorów danych to wysokie i wciąż wzrastające koszty. Big data to inwestycja, która powinna prowadzić do zwiększenia przewagi konkurencyjnej czy poprawy wydajności procesów przedsiębiorstwa bądź instytucji. Świadoma organizacja zaczyna zatem od określenia celów, jakie stawia przed analizowaniem wielkich zbiorów danych. „Dostrzegamy, jak istotna zmiana nastąpiła w zakresie przetwarzania danych. W projektach, o których mówimy, przedstawiamy to w kontekście przygotowania nowych obszarów ich wykorzystania” – mówi Dariusz Śpiewak.

Pierwszym obszarem, w którym ZUS sięgnie po wielkie wolumeny zgromadzonych przez siebie danych, jest wiarygodne obliczanie modeli aktuarialnych dla obywateli. „Drugi obszar to zaawansowane metody analizy ryzyka, w różnych przypadkach. Chcielibyśmy kontrolować tam, gdzie w wyniku analizy ryzyka jesteśmy w stanie wskazać, że to jest obszar ryzyka i jedną grupę płatników powinniśmy kontrolować częściej, a inną rzadziej albo robić to w sposób automatyczny” – opowiada Dariusz Śpiewak.

Podobne potrzeby i cele związane z analizą ryzyka czy koniecznością kontroli klientów skłaniają instytucje finansowe i bankowe do wykorzystania wielkich zbiorów danych. Te, z jednej strony będąc obwarowane wymogami nakładanymi przez regulatorów rynku, z drugiej zaś koniecznością jak najdokładniejszej analizy ryzyka poszczególnych grup klientów, potrzebują możliwie dokładnych danych. „W obszarze ryzyka bankowego – finansowego, operacyjnego, kredytowego – algorytmy są niezwykle złożone. Bez wymagających technologii nie możemy mówić o wypełnieniu wymagań, jakie stawia przed nami nadzorca, ustawodawca” – przypomina Adam Grzebieluch z BOŚ.