Firma badawcza Ovum szacuje, że światowy rynek Big Data urośnie z 1,7 mld dolarów w 2016 r. do 9,4 mld w 2020 r. W tym czasie zmienią się wyzwania, przed którymi stoją użytkownicy systemów analitycznych, potrzebne będą nowe kompetencje, a producenci przejdą transformację. Rok 2017 zapowiada się bardzo interesująco dla świata Big Data.

Większa presja, aby trzymać dane lokalnie

Firma prawnicza Morrison & Foerster przewiduje, że na świecie będzie postępowało zaostrzanie przepisów dotyczących ochrony prywatności, w tym wymogów przechowywania danych na terenie danego kraju. Takie regulacje są już wprowadzane w Rosji czy w Chinach.

Zobacz również:

• IDC CIO Summit – potencjał drzemiący w algorytmach
• Data mesh, data fabric oraz data cloud – co oznaczają te pojęcia?
• Większa wydajność nie oznacza większego TCO

Problemy z monetyzacją danych

Firmy mają wiele możliwości czerpania korzyści z danych, ale nie jest to łatwe i wiele z nich nie wykorzysta należycie tych możliwości, uważają analitycy z IDC. Mimo oczekiwań po stronie zarządów, firmy będą miały trudności, aby tworzyć wartościowe produkty i generować strumień przychodów. Sukces osiągną tylko te, które wspierają się solidną strategią IT i korzystają z usług zbudowanych wokół danych.

Wśród zaleceń IDC sugeruje, żeby kierownictwa firm tworzyły zespoły odpowiedzialne za innowacje, a składające się z przedstawicieli biznesu i działu IT. Do zadań takiego zespołu powinna należeć, m.in. ocena posiadanych systemów i aplikacji (oraz tych, które mogą zostać wdrożone w przyszłości) pod kątem przydatności w generowaniu wartości z danych.

Jeziora danych w końcu wykażą swoją przydatność

Wiele firm wśród tych, które wcześnie zdecydowały się na wdrożenie koncepcji jeziora danych, przeznaczyło znaczne środki finansowe nie tylko na rozwiązania mające obniżyć koszty przechowywania i przetwarzania danych, ale także na różne usługi związane z agregacją danych i zapewnieniem dostępu do dużych zbiorów danych. Wyzwaniem było znalezienie osób wiedzących, jak z zebranych danych wydobyć wartościowe informacje i jak w czasie rzeczywistym zbierać dane z aplikacji. Ponieważ toczy się coraz więcej projektów Big Data, w których wyraźnie widać, że solidne dane są podstawą sukcesu, można się spodziewać, że jeziora danych w końcu przyniosą korzyści, o jakich dotychczas się mówiło.

Większa liczba przejęć i połączeń firm

Nie ma wątpliwości, że jest duże zainteresowanie sztuczną inteligencją i uczeniem maszynowym. Kluczową kwestią w tym przypadku jest ograniczona dostępność ekspertów z zakresu AI (Artificial Intelligence). Większość przejęć startupów działających w tym obszarze ma na celu przede wszystkim pozyskanie specjalistów od sztucznej inteligencji. Eksperci spodziewają się, że w 2017 r. przejęć i połączeń firm będzie jeszcze więcej niż w 2016 r.

Rosnący popyt na architektów IoT

Rynek IoT (Internet of Things) ma osiągnąć według prognoz IDC wartość 1,46 biliona dolarów w 2020 r. Ta skala oznacza ogromny popyt na ekspertów od technologii IoT. Znaczenie architektów IoT może okazać się jeszcze większe niż naukowców zajmujących się danymi. Na razie większość firm nie zdaje sobie sprawy, że będą potrzebować ekspertów od Internet Rzeczy, w tym architektów IoT. Nie obejdą się jednak bez osób, które jednocześnie potrafią zaprojektować rozwiązanie analityczne działające lokalnie albo w architekturze rozproszonej.

Ponowne zainteresowanie analizą strumieni danych

Koncepcja analizowania danych będących w ruchu nie jest niczym nowym. Programy przetwarzające dane o zdarzeniach są w użyciu od jakichś 20 lat. Jest jednak kilka czynników, które powodują, że analiza strumieni danych w czasie rzeczywistym przestaje być niszową technologią, a staje jedną z najszerzej poszukiwanych. Przykładowo, aplikacje open source ułatwiają dostęp do systemów analizy w czasie rzeczywistym. Podobnie jest z dostępem do skalowalnej infrastruktury IT. Jednocześnie Internet Rzeczy napędza zainteresowaniem aplikacjami przesyłającymi strumienie danych, które potrafią analizować i reagować w czasie rzeczywistym. Na razie nie należy spodziewać się konsolidacji na tym rynku. Obecnie rośnie liczba dostawców, którzy oferują rozwiązania dostosowane do nowych aplikacji. Z czasem jednak należy się spodziewać, że na rynku pozostaną trzy lub cztery platformy do analizy strumieni danych. Takie rozwiązania, jak Spark Streaming czy Amazon Kinesis Analytics, jak również ich konkurencji, wciąż są na wczesnym etapie rozwoju. Eksperci oceniają, że dopiero za 2-3 lata rozwiązania do analizy danych osiągną wymaganą dojrzałość.

Mniejszy popyt na naukowców od danych

Eksperci sugerują, że może się zmniejszyć popyt na naukowców od danych. Dane z serwisu Indeed.com pokazują, że od czterech lat zapotrzebowanie na tych specjalistów utrzymuje się na stałym poziomie. Mogą oni znaleźć zatrudnienie tylko w firmach prowadzących biznes internetowy albo w korporacjach z listy Global 2000. Większość organizacji korzysta z gotowych rozwiązań analitycznych I nie potrzebują zatrudniać u siebie tej klasy ekspertów.

Współpraca między naukowcami i inżynierami

Naukowcy od danych i inżynierowie danych odgrywają różne role. Ten pierwszy formułuje i sprawdza hipotezy, natomiast inżynier wybiera zbiory danych, konfiguruje klastry czy optymalizuje algorytmy. Bez współpracy między nimi opracowane przez naukowców hipotezy i modele mogą nie trafić do środowiska produkcyjnego.

W tym samym czasie funkcje uczenia maszynowego coraz częściej są wbudowywane w oprogramowanie do integracji i przygotowywania danych. To dodatkowo zwiększa nacisk na dobrą współpracę między naukowcami i inżynierami. Nie da się uzyskać maksimum korzyści z uczenia maszynowego, jeśli modele nie zostaną przeniesione z laboratorium do środowiska produkcyjnego.