Dzisiejszy rynek analityki Big Data różni się od tego sprzed nawet kilku lat. W nadchodzącej dekadzie zmiany, innowacje i przełomy będą dokonywały się we wszystkich segmentach tego globalnego przemysłu.

Wikibon, grupa analityków SiliconAngle Media, w opublikowanej niedawno corocznej aktualizacji swego badania rynku stwierdził, że światowy rynek analizy Big Data wzrósł o 24,5% w 2017 r. w porównaniu z rokiem poprzednim. Wzrost okazał się szybszy od prognozowanego w zeszłorocznym raporcie głównie dzięki intensywniejszemu, niż zakładano, wdrożeniu i wykorzystaniu chmury publicznej oraz przyspieszeniu konwergencji platform, narzędzi i innych rozwiązań. Poza tym przedsiębiorstwa szybciej wychodzą z fazy eksperymentów i weryfikacji poprawności pomysłu w zakresie analizy Big Data i osiągają większe korzyści biznesowe ze swoich wdrożeń.

Zobacz również:

• Cyfrowa transformacja z AI - co nowego na Google Cloud Next 24
• IDC CIO Summit – potencjał drzemiący w algorytmach

Wikibon prognozuje, że do 2027 r. rynek analityki Big Data będzie rósł o 11% w skali roku, osiągając wartość 103 mld USD na całym świecie. Znaczna część wzrostu rynku w późniejszych latach zostanie utrzymana dzięki zastosowaniu analizy Big Data w internecie rzeczy (IoT), mobilności i innych przypadkach wykorzystania obliczeń brzegowych.

Kluczowe trendy w ewolucji analizy Big Data w następnej dekadzie

Motorem ewolucji branży analizy Big Data w nadchodzącej dekadzie będą następujące kluczowe trendy wskazane w badaniach Wikibona:

• Dostawcy publicznych usług w chmurze coraz bardziej rozszerzają swą ofertę. Branża Big data skupia się wokół trzech głównych dostawców chmury publicznej: Amazon Web Services, Microsoft Azure i Google Cloud Platform, zaś większość producentów oprogramowania tworzy rozwiązania, które działają w każdej z nich. Ci oraz inni dostawcy publicznych chmur obliczeniowych do wielkich zbiorów danych, w tym tak znani gracze Big Data jak IBM i Oracle, oferują zarządzane rezerwuary danych IaaS i PaaS, a klienci i partnerzy są zachęcani do tworzenia do nich nowych aplikacji i migrowania starszych. W efekcie dostawcy platform czystych danych/NoSQL wydają się zamierać, będąc marginalizowani w świecie Big Data coraz bardziej zdominowanym przez zdywersyfikowanych dostawców chmury publicznej.

• Korzyści związane z chmurą publiczną w porównaniu z chmurami prywatnymi są coraz większe. Chmury publiczne stają się preferowaną platformą analizy Big Data w każdym segmencie klientów. Wynika to z faktu, że rozwiązania chmury publicznej dojrzewają szybciej niż wersje lokalne, mając bogatszą funkcjonalność i oferując coraz bardziej konkurencyjne koszty korzystania. Chmury publiczne rozwijają ekosystemy interfejsów programowania aplikacji i szybciej udoskonalają swoje narzędzia administracyjne w porównaniu do świata rozwiązań analitycznych Big Data przeznaczonych dla wdrożeń lokalnych.

• Chmury hybrydowe stają się pośrednim przystankiem korporacyjnego Big Data na drodze do pełnego wdrożenia w chmurach publicznych. Chmury hybrydowe są uwzględniane w planach związanych z Big Data większości dużych przedsiębiorstw, ale przede wszystkim jako etap przejściowy. Dzieje się tak dlatego, że szala przechyla się na stronę przedsiębiorstw umieszczających w chmurach publicznych więcej swoich wielkich zasobów danych. Dostrzegając ten trend, tradycyjni dostawcy rozwiązań Big Data optymalizują swoje produkty pod kątem zastosowań hybrydowych. Z tego samego powodu platformy Big Data do zastosowań lokalnych są przebudowywane tak, by można było je wdrożyć w chmurach publicznych.

• Konwergencja silosu Big Data opartego na chmurze skraca czas do uzyskania wartości przez przedsiębiorstwo. Użytkownicy zaczynają zwiększać tempo konsolidacji swoich silosowanych wielkich zbiorów danych w chmurach publicznych. Rosnąca dominacja publicznych dostawców usług w chmurze burzy silosy międzybranżowe, które do tej pory były utrapieniem prywatnych architektur Big Data w korporacjach. Co równie istotne, rozwiązania Big Data tak w chmurze, jak i lokalne przekształcają się w zintegrowane oferty mające na celu zmniejszenie złożoności i skrócenie czasu oczekiwania na wartość. Coraz więcej producentów rozwiązań oferuje znormalizowane API, które upraszczają dostęp, przyspieszają rozwój i umożliwiają bardziej kompleksowe administrowanie stosami rozwiązań Big Data.

• Innowacyjne start-upy z branży Big Data wprowadzają na rynek coraz bardziej zaawansowane aplikacje wykorzystujące sztuczną inteligencję. Innowacyjni dostawcy aplikacji zaczynają mieszać na rynku Big Data dzięki rozwiązaniom opartym na sztucznej inteligencji. Zagrożenie ze strony nowych graczy rośnie w każdym segmencie branży Big Data, a większość innowacji jest zaprojektowana z myślą o wdrożeniach w publicznych lub hybrydowych chmurach obliczeniowych. W ciągu ostatnich kilku lat na rynku pojawiło się wiele nowych start-upów z dziedziny baz danych, przetwarzania strumieniowego i data science.

• Nowatorskie podejścia do Big Data stają się realną alternatywą dla platform o ustalonej pozycji. Wkrótce pojawi się nowa generacja dostawców platform Big Data: „jednorożców”, którzy wykorzystają siłę nowoczesnego podejścia łączącego IoT, blockchain i stream computing. Więcej z tych platform Big Data nowej generacji zostanie zoptymalizowanych pod kątem zarządzania całym procesem DevOps do maszynowego i głębokiego uczenia się oraz sztucznej inteligencji. Projektowane są również platformy Big Data do mikrousług sztucznej inteligencji dla urządzeń brzegowych.

• Hadoop staje się tylko elementem układanki Big Data. Obserwujemy oznaki tego, że rynek postrzega Hadoop bardziej jako okrzepłą technologię Big Data, a nie strategiczną platformę dla przełomowych zastosowań biznesowych. Niemniej Hadoop jest dojrzałą technologią stosowaną powszechnie w kluczowych przypadkach, np. rafineriach informacji nieustrukturyzowanych , w działach IT wielu użytkowników, a w sporej liczbie organizacji wciąż ma przed sobą długi czas użyteczności. Mając na uwadze tę długoterminową perspektywę, dostawcy nadal rozszerzają swoją ofertę i zapewniają lepszą współpracę niezależnie stworzonych komponentów sprzętu i oprogramowania.

• Użytkownicy w coraz większym stopniu mieszają i dopasowują do siebie rozwiązania Big Data od różnych producentów w otwartych ekosystemach. Coraz mniej dostawców z branży Big Data oferuje rozwiązania, które zawierają zastrzeżone, niestandardowe lub nieotwarte komponenty. Klienci wykorzystują dzisiejszą wysoką konkurencyjność rynku i uzyskują ciągłe udoskonalenia od producentów analityki Big Data. Ci z kolei przekształcają swoje narzędzia w architekturę modułową, w której klienci mogą wymieniać komponenty na różnych poziomach funkcjonalnych. To najlepsze podejście dla producentów chcących zdobyć trwały udział w rynku, w którym całkowite uzależnienie od twórcy narzędzia jest już przeszłością.

• Bazy danych są poddawane dekonstrukcji i ponownie składane w innowacyjny sposób. Dotychczasowa architektura baz danych podlega gruntownej przemianie. Przechodzimy w przyszłość, w której nadrzędne znaczenie będzie miała infrastruktura strumieniowej, wewnątrzpamięciowej i bezserwerowej analizy Big Data. Dostawcy eksperymentują z nowymi sposobami przebudowy podstawowych funkcji baz danych, aby sprostać pojawiającym się wymaganiom, takim jak zautomatyzowane potoki do maszynowego uczenia się oraz kognitywna analiza danych brzegowych z IoT. W ramach tej ewolucji bazy danych analitycznych i aplikacji podlegają konwergencji wraz z integrowaniem coraz większej liczby funkcji wysoko wydajnej analizy transakcyjnej z platformami danych wszelkiego rodzaju. Silnik magazynowania bazy danych staje się ponadto repozytorium głównie dla danych maszynowych, które są adresowalne poprzez alternatywne struktury, takie jak indeksy klucza i wartości oraz schematy obiektów.

• Łańcuchy narzędzi data science w coraz większym stopniu automatyzują cały ciąg technologiczny. Programowanie wspierane przez Big Data wciąż będzie nabierało finezji. Deweloperzy mają dostęp do coraz szerszej gamy narzędzi do automatyzacji różnych zadań w zakresie rozwoju, wdrażania i zarządzania maszynowym i głębokim uczeniem się oraz innymi elementami sztucznej inteligencji. Powiększająca się paleta tych rozwiązań wykorzystuje nawet wyspecjalizowane algorytmy maszynowego uczenia się do obsługi takich funkcji jego rozwoju jak optymalizacja hiperparametrów.

• Pakiety aplikacji do analizy Big Data stają się bardziej dostępne. W ciągu najbliższej dekady coraz więcej użytkowników będzie nabywać rozwiązania do analizy Big Data w postaci wstępnie przygotowanych i „nauczonych” usług w chmurze opartych na szablonach. Coraz więcej tych usług automatycznie dostosuje i zoptymalizuje wbudowane modele maszynowego i głębokiego uczenia się oraz sztucznej inteligencji, aby stale uzyskiwać optymalne wyniki biznesowe. I coraz więcej tych usług będzie obejmować wstępnie „przyuczone” modele, które klienci mogą dostosowywać i rozbudowywać do własnych specyficznych potrzeb.

Bariery utrudniające rozwój i wdrożenie analizy Big Data

Mimo że prognozy dotyczące stosowania analizy Big Data wyglądają optymistycznie, nadal występuje wiele uporczywych problemów, które frustrują użytkowników próbujących zmaksymalizować wartość swoich inwestycji w te technologie. Należą do nich przede wszystkim:

• Nadmierna złożoność. Środowiska i aplikacje do analizy Big Data są wciąż zbyt skomplikowane. Producenci muszą upraszczać interfejsy, architektury, funkcje i narzędzia tych środowisk. W ten sposób zaawansowane możliwości analizy Big Data staną się dostępne dla szerokiej rzeszy użytkowników i programistów, z których wielu nie dysponuje własnym personelem IT o niezbędnych specjalistycznych umiejętnościach.

• Kłopotliwe koszty ogólne. Administracja i zarządzanie analizą Big Data są nadal zbyt rozproszone (silosy), kosztowne i nieefektywne dla wielu specjalistów IT. Producenci będą musieli stworzyć wstępnie przygotowane przepływy pracy, które pomogą dużym zespołom wyspecjalizowanego personelu w bardziej wydajnym, szybkim i dokładnym administrowaniu danymi, metadanymi, analizą i definicjami usług.

• Przewlekłość prac. Procesy tworzenia i wdrażania aplikacji do analizy Big Data są nadal zbyt czasochłonne i ręczne. Producenci będą musieli zwiększyć możliwość automatyzacji w swoich narzędziach, aby zapewnić podniesienie produktywności personelu technicznego użytkowników, umożliwiając jednocześnie wykonywanie złożonych zadań nawet przez pracowników o niskich kwalifikacjach.

• Niestandardowe aplikacje. Profesjonalne usługi analizy Big Data wciąż są niezbędne do opracowywania wielu aplikacji nieustrukturyzowanych, do ich wdrażania i zarządzania nimi. Dotyczy to zwłaszcza aplikacji opartych na danych, które obejmują chmury hybrydowe, korzystają z różnych platform i narzędzi oraz zawierają niezrównanie złożone procesy przetwarzania danych. Producenci muszą ulepszyć wstępnie przygotowane treści dla typowych aplikacji do analizy Big Data, jednocześnie zapewniając użytkownikom samoobsługowe, wizualne narzędzia do określania złożonej logiki biznesowej bez konieczności zasięgania pomocy z zewnątrz.

W przypadku korporacyjnego IT głównym zaleceniem Wikibon jest rozpoczęcie migracji prac deweloperskich związanych z analizą Big Data do środowisk publicznej chmury obliczeniowej. Dzięki temu szybciej będzie można skorzystać z błyskawicznie rozwijających się tanich ofert od Amazon Web Services, Microsoftu, Google’a, IBM i innych dostawców chmury publicznej. Należy rozważyć budowę hybrydowej chmury korporacyjnej, aby zapewnić płynne przejście do chmury publicznej w ciągu najbliższych kilku lat.