Hurtownia danych - pomoc czy koszmar?

Producenci wielowymiarowych baz danych uważają, że jedynie produkty tego typu nadają się do obsługi złożonego przetwarzania analitycznego, potrzebnego czasem w hurtowniach. Tu jednak przeważa zdanie, że narzędzia analityczne powinny być niezależne od systemu zarządzania bazami danych, chociaż można je do niego dołączyć. Na przykład Oracle po kupieniu firmy IRI Software dołącza tego typu możliwości do swego relacyjnego motoru baz danych Oracle7. Wadą systemów wielowymiarowych jest ich zamknięty, firmowy charakter, podczas gdy systemy relacyjne są wspierane przez wielu niezależnych producentów narzędzi wspomagających i uzupełniających właściwości funkcjonalne.

Przenoszenie i czyszczenie

Narzędzia do transportu danych dostarczają takie firmy jak Platinum Technology, Legent i in. Służą one do przenoszenia kopii danych z systemów operacyjnych do hurtowni i wstawiania ich we właściwe miejsce. Wykonują one także podstawowe transformacje, takie jak np. zamiana kodów na ASCII.

Narzędzia do czyszczenia i normalizacji danych umożliwiają uzyskanie spójnych danych. Wykonują takie zadania jak identyfikacja i łączenie różnych rekordów tych samych danych, standaryzację skrótów, dopasowanie rozmiarów pól, określenie wspólnych nazw dla różnych kolumn itp. Istnieje wiele narzędzi tego typu, np. Passport firmy Software AG, DataHub i DataJoiner IBM i in. Czasami dla ułatwienia dostępu do danych, zmniejszenia liczby tabel w bazie i uniknięcia konieczności tworzenia skomplikowanych zapytań do wielu tabel potrzebna jest denormalizacja danych.

Jeżeli dane rezydują na różnych systemach komputerowych, pod różnymi systemami operacyjnymi i różnymi systemami zarządzania bazami danych, potrzebna jest pośrednia warstwa oprogramowania (middleware) komunikacyjnego do połączenia różnych platform. Oferują je praktycznie wszyscy twórcy systemów zarządzania bazami danych, jak również niezależni producenci (Trinizic InfoHub, Information Builders EDA/SQL, TechnoGnosis SequeLink).

Wszystko dla użytkownika

Minęły już czasy, gdy użytkownik akceptował przygotowany przez dział informatyki ograniczony zestaw formularzy i raportów dostępu do danych. Teraz potrzebuje mieć w zasięgu ręki uniwersalne narzędzie, umożliwiające mu swobodny dostęp do danych.

Zresztą cała idea hurtowni danych opiera się na założeniu, że hurtownia jest to miejsce, gdzie użytkownik ma swobodny dostęp do danych, może do nich sięgać dowolnie głęboko, aż do najmniejszych szczegółów. Da się to wykonać (lepiej lub gorzej) za pomocą najprostszych narzędzi typu arkusz obliczeniowy Excel czy Lotus 1-2-3; baz danych na biurko - Access, FoxPro, dBase czy Approach oraz specjalnych narzędzi dostępu do danych. Także tutaj wielu producentów oferuje wyrafinowane zestawy narzędziowe: Platinum Technology Forest & Trees, Software AG Esperant, pakiety narzędziowe SAS Institute i in.

Największy kłopot z takimi narzędziami to trudność w odizolowaniu użytkownika od szczegółów związanych z faktyczną strukturą bazy i określenie praw dostępu do poszczególnych tabel, rekordów czy pól oraz eliminacja konieczności posługiwania się językiem SQL (p. CW nr 46 z 11 grudnia 1995).

Jak to wszystko połączyć?

Biorąc pod uwagę trudności w zintegrowaniu tego szerokiego zestawu narzędzi potrzebnych do tworzenia hurtowni danych, nie ma nic dziwnego w żądaniu użytkowników dostarczania przez producentów kompletnego rozwiązania, nie zaś zestawów cząstkowych. Z tego powodu wielu producentów zawiera porozumienia z firmami oferującymi produkty uzupełniające ich ofertę.

Taką kompletną ofertę obecnie mają m.in. SAS Institute ze swym Rapid Warehousing Program, Pyramid Technology ze swym programem Smart Warehouse i IBM z Visual Warehouse Solution.

Duży koszt kompletnej hurtowni danych odstrasza jednak wielu potencjalnych użytkowników. Nie jest łatwo podjąć decyzję o wydaniu 2 lub 3 mln USD nie mając pełnego przekonania o odzyskaniu tych pieniędzy w najbliższej przyszłości w postaci widocznych efektów - lepszych wyników handlowych.

Wirtualna hurtownia danych

Duży koszt powoduje, że firmy rozpoczynają projekty cząstkowej hurtowni dla jednego działu (na ogół handlowego lub finansowego) i nie kontynuują go w całej firmie. Dla wielu firm rozwiązaniem może być tzw. wirtualna hurtownia danych - pakiet narzędziowy umożliwiający uzyskanie podobnej funkcjonalności co prawdziwa hurtownia, ale kosztem mniejszej wydajności systemów operacyjnych, gdyż muszą teraz obsługiwać także skomplikowane zapytania ad hoc do bazy z wirtualnej hurtowni.

Wirtualna hurtownia składa się z dwóch podstawowych narzędzi: pierwsze odwzorowuje dane operacyjne na pewien zestaw wirtualnych tabel (widoków bazy), nadaje im nazwy dogodne do użytkowania i określa najlepszy sposób dostępu do nich; drugie jest to typowe narzędzie dostępu do danych, przeznaczone dla użytkownika końcowego, korzystające ze sterowników ODBC dla dostępu do baz relacyjnych.

Intersolv oferuje pakiet programowy Explorer do realizacji wirtualnej hurtowni danych, zawierający narzędzie do odwzorowania danych SmartData i zmodyfikowany pakiet narzędziowy do dostępu Q+E, łącznie z zestawem własnych sterowników ODBC do popularnych systemów zarządzania bazami danych.


TOP 200