Partner merytoryczny

dashDB + Hadoop = Big Data

Praca z bardzo dużymi zbiorami danych (Big Data), równoległe przetwarzanie oraz przetwarzanie nieustrukturyzowanych danych - te wszystkie możliwości, dzięki integracji z Hadoopem, są dostępne dla użytkowników dashDB.

Integrację dashDB z Hadoopem umożliwia serwer federacyjny Big SQL V3.0. Jest to interfejs dla SQL’a dający dostęp do systemu plików Hadoopa. Big SQL umożliwia zbudowanie środowiska Big Data i konsolidującego dane z różnych źródeł.

Hadoop umożliwia wykorzystanie bardzo dużej mocy obliczeniowej poprzez dzielenie dużych zadań na mniejsze części i ich równolegle realizowanie. Jest to rozwiązanie zarówno do przechowywania danych - funkcję tę realizuje rozproszony system plików Hadoop Distributed File System – jak i do równoległego, rozproszonego przetwarzania danych w oparciu o koncepcję MapReduce. Platforma działa w modelu rozproszonym, w którym dane przechowywane są na lokalnych dyskach serwerów tworzących klaster. Rozwiązanie skaluje się od jednego serwera do rozmiarów wystarczających do analiz w skali Big Data.

Hadoop jest odporny na błędy. Ciągłość pracy zapewnia oprogramowanie, które potrafi wykryć awarie i obsługiwać je w warstwie aplikacji. Dane są automatycznie replikowane i przetwarzane na innych węzłach obliczeniowych. Co więcej, w przypadku awarii informacje z uszkodzonego węzła są ponownie replikowane. Jeśli są wolne zasoby, Hadoop uruchomi wiele kopii tego samego zadania, przyjmując wyniki od tego węzła, który zakończy pracę jako pierwszy. Hadoop nie wymaga porządkowania danych według określonego schematu. Jedną z kluczowych zalet tej platformy jest możliwość zasilania jej nieustrukturyzowanymi danymi. Użytkownik może przesłać dowolny typ danych i pozwolić, aby to system zdeterminował i ustrukturyzował je, jeśli jest to konieczne.

Ponadto dashDB Local jest pierwszą hurtownią danych, która standardowo ma wbudowany silnik Apache Spark z możliwością przetwarzania in-memory. Apache Spark jest głęboko zintegrowany z funkcjami klastra dashDB Local MPP, dzięki czemu znacznie skraca się czas realizacji zapytań, a dane można interaktywnie eksplorować i analizować.