Cloudera to założona w 2008 roku amerykańska firma oferująca platformę do zarządzania dużymi zbiorami danych oraz zaawansowanej analityki wykorzystujące mechanizmy uczenia maszynowego i sztucznej inteligencji . Rozwiązania Cloudera mogą być uruchamiane w chmurze lub lokalnym centrum danych. Są oparte na oprogramowaniu Apache Hadoop oraz innych narzędziach open source. Jakie są kierunki rozwoju tego typu technologii i jaka jest popularność tego typu oprogramowania w Polsce mówi Jan Kunigk, Field CTO EMEA w firmie Cloudera.

Co oferuje Cloudera?

W biznesie jesteśmy od 10 lat, zaczęliśmy od budowy sieci do dystrybucji naszych rozwiązań już ok. 2007 roku. Cloudera oferuje rozwiązania do przetwarzania dużego wolumenu danych przeznaczone dla firm i dużych korporacji.

Rozwiązania te są oparte na platformie Hadoop, która już 10 lat temu została wykorzystana na przykład przez Yahoo, Twitter lub Facebook. Wówczas najwięksi producenci oprogramowania dla biznesu, jak m.in. IBM lub Oracle nie oferowali tego rodzaju oprogramowania.

Cloudera była jedną z pierwszych firm, które na bazie otwartego oprogramowania opracowały zestaw rozwiązań do przetwarzania danych w systemach rozproszonych o dużej skali.

Wkrótce okazało się, że technologie Big Data zaczynają znajdować coraz szersze zastosowania w biznesie. Pojawiło się wiele firm oferujących rozwiązania umożliwiające masowe przetwarzanie danych w systemach rozproszonych i pojawiło się wiele nowych platform.

Naszym celem od początku było umożliwienie firmom i korporacjom wykorzystanie wszystkich będących w ich zasobach danych w sposób bezpieczny i efektywny. Mówiąc wszystkich mamy na myśli ustrukturyzowane dane dostępne w bazach i hurtowniach danych, nieustrukturyzowane dane w plikach jak i ulotne dane generowane przez urządzenia i aplikacje w czasie rzeczywistym.

Należy tu zauważyć, że zbiory zawierające różnorodne dane nie są dobrze obsługiwane przez systemy klasyczne.

Opracowując nasze systemy z zasady opieramy się na platformach, narzędziach i oprogramowaniu open source.

Dla jakich segmentów rynku są przeznaczone rozwiązania Cloudera?

Praktycznie dla każdej firmy, bo są to rozwiązania open source. Ale w szczególności , koncentrujemy się na największych firmach i korporacjach i wraz z naszymi partnerami do nich adresujemy nasze działania marketingowe na całym świecie.

Naszymi klientami jest 8 z 10 największych na świecie banków, wszystkie z 10 największych na świecie firm telekomunikacyjnych. Współpracujemy z ponad 40 agencjami rządowymi w różnych krajach, 10 największymi firmami z sektora motoryzacyjnego korzysta i największymi firmami farmaceutycznymi.

Można więc przyznać, że z dużym sukcesem udaje się nam zainteresować rynek największych firm.

Amazon lub Google oferują własne platformy oparte na Hadoop. Czy jest duża konkurencja dla firmy Cloudera?

Technologia Hadoop nie jest firmową własnością. To fundamentalna cecha technologii open source. Ale open source i oprogramowanie dla firm to dwa elementy ekosystemu.

W ostatnich 10 latach rozwój technologii wykorzystywanych w biznesie nie byłby w takim stopniu możliwy, gdyby duże firmy nie zaangażowały się we wsparcie wielu projektów open source. Odnoszą one sukcesy właśnie dzięki wsparciu firm tworzących oprogramowanie biznesowe lub oferujących usługi chmurowe.

Oczywiście głównym celem dostawców usług chmurowych jest ich sprzedaż. A z punktu widzenia społeczności open source jest ważne, by opracowywane oprogramowanie było udostępniane i integrowane z dystrybucjami. Tu sytuacja jest różna i nie wszyscy dostawcy usług chmurowych lub oprogramowania dla biznesu działają podobnie.

W przypadku Cloudera wszystkie modyfikacje kodu są udostępniane jako open source, bo nasz sukces opiera się na sukcesie użytkowników naszego oprogramowania.

Jeśli chodzi o rynek, to w 40% wciąż opiera się na rozwiązaniach on-premise, 32% firm aktywnie wykorzystuje chmury publiczne, a wiele firm preferuje rozwiązania hybrydowe. Ale zwiększone zapotrzebowanie na moc obliczeniową na przykład pod koniec kwartału lub okresie przedświątecznym to czynniki wpływające na zainteresowanie chmurą. Tu zawsze pojawia się pytanie jaka jest cena?

Dlatego przygotowując najnowszą wersję naszej platformy staraliśmy się zapewnić możliwość korzystania z każdego rodzaju chmury, niezależnie od dostawcy, ale także rozwiązań działających on-premise. To jest nasza odpowiedź na wymagania klientów.

Jakie jest ryzyko fragmentacji oprogramowania open source, takiego jak Hadoop?

Przestrzegamy zasad dobrej praktyki i staramy się uniknąć fragmentacji tak bardzo, jak to możliwe. Konkurencja jest zawsze dobra, nie tylko w przypadku firm, ale również idei.

Nie wszystkie nowe rozwiązania trafiają z powrotem do społeczności open source i pod tym względem jest fragmentacja, która powoduje że migracja z jednej platformy na drugą może być utrudniona.

Naszym zadaniem, jako dystrybutora rozwiązań dla korporacji, jest selekcja i wybranie najlepszych narzędzi oraz ocena i wybór rozwiązań, które zapewnią stabilne działanie platformy.

A co z takimi technologiami jak AI lub ML?

Intensywnie inwestujemy w ich rozwój. Od pewnego już czasu oferujemy Cloudera Science Workbench, rozwiązanie oparte na Kubernetes, oferujące wsparcie dla całego procesu uczenia maszynowego.

Każde rozwiązanie wykorzystujące mechanizmy uczenia maszynowego jest specyficzne i wymaga odpowiedniego przygotowania algorytmów i danych. Dlatego oferujemy narzędzia w kontenerach Kubernetes, które umożliwiają konfigurację, testowanie i uruchomienie systemu ML zgodnego z wymaganiami użytkownika.

Rozwiązanie oferuje dużą swobodę w modyfikacji oprogramowania. Umożliwia klonowanie kontenerów wraz z całym środowiskiem i ich dalszą modyfikacje. Kontenery mogą być uruchamiane na platformach różnych dostawców usług chmurowych.

Należy zauważyć, że technologie ML są coraz szerzej wykorzystywane przez firmy. Również w Polsce, gdzie ostatnio rozmawiałem z wieloma naszymi klientami, którzy już przygotowują się do wdrożeń technologii uczenia maszynowego.

Do popularyzacji ML przyczynia się rosnąca liczba urządzeń IoT i eksplozja generowanych przez nie danych. A im więcej odpowiednio przygotowanych danych, tym bardziej precyzyjnie działają mechanizmy ML lub AI.

Byliśmy pierwszą firmą na rynku, a obecnie jedną z niewielu, które oferują kompletne rozwiązania end-to-end. Dużą rolę miała fuzja z firmą Hortonworks, która koncentrowała się na rozwoju technologii Edge Computing oraz streamingu danych, podczas gdy Cloudera intensywnie inwestowała w rozwój technologii uczenia maszynowego.

Mieliśmy też dobre wyczucie z jakich narzędzi i technologii warto skorzystać by stworzyć rozwiązania do zarządzania, przetwarzania i analizy dużych zbiorów danych przydatne dla firm i korporacji.

Ilu klientów i partnerów ma Cloudera w Polsce i czy jest to rynek perspektywiczny?

W skrócie naszymi klientami w Polsce jest między innymi 6 z 10 największych banków, wszystkie cztery duże firmy telekomunikacyjne oraz 3 duże sieci handlowe.

Oprócz tego w Polsce jest wiele centrów kompetencyjnych dużych międzynarodowych korporacji, a także wielu wysoko kwalifikowanych specjalistów, którzy są zainteresowani wykorzystaniem oprogramowania open source.

Naszym największym partnerem w Polsce jest firma 3soft z Katowic, ale współpracujemy także z takimi firmami jak Accenture, Deloitte i Microsoft Z wieloma firmami współpracujemy, a jednocześnie konkurujemy oferując nieco inne rozwiązania.

Warto zauważyć, że Polska jest dla nas drugim co do wielkości rynkiem w obszarze Europy Wschodniej, który jednocześnie odnotowuje największy wzrost.

W Polsce obserwujemy coraz większy popyt na nowoczesne technologie Big Data, zwłaszcza w sektorze finansowym. W warsztatach, które ostatnio zorganizowaliśmy udział wzięli przedstawiciele około 40 polskich firm.

Jakie są trendy rozwoju technologii związanych z Hadoop?

Z naszego punktu widzenia najważniejszy trend to konteneryzacja, która umożliwia uruchamianie oprogramowania w różnych środowiskach. I tu można oczekiwać wielu innowacji związanych z wdrażaniem i zarządzaniem kontenerami.

Szybko rozwija się rynek rozwiązań do przetwarzania danych w czasie rzeczywistym.

Bardzo dynamicznie rośnie również rynek narzędzi do uczenia maszynowego.

To trzy powiązane technologie, które decydują obecnie o kierunkach rozwoju technologii związanych z przetwarzaniem dużych zbiorów danych.

W przypadku rozwiązań dla firm i korporacji, to co nas wyróżnia to oferta wsparcia technicznego. Nasze platformy są stabilne, a także zapewniają funkcje bezpieczeństwa wymagane przez korporacje.