Przemysł wyrachowany

• Analiza dużych zbiorów danych
  
• Nastawienie na praktyczne wyniki i zastosowania, a nie na budowę lub sprawdzanie teorii
  
• Korzystanie z istniejących danych, na których zwartość badacz ma niewielki wpływ
  
• Ocena modelu na podstawie próby testowej, a nie na podstawie wskaźników statystycznych

Za "duże" uznajemy takie zbiory danych, których człowiek nie jest w stanie objąć i wykorzystać bez pomocy komputera i specjalistycznego oprogramowania. Bardzo często w praktyce spotykamy się z sytuacją, gdy danych jest "za dużo", a głównym zadaniem we wnioskowaniu z danych jest odsianie bezużytecznej informacji.

Ważną częścią tradycyjnego badania statystycznego jest zaplanowanie doświadczenia, które da nam informacje podlegające właściwej analizie. W data mining mamy do czynienia z inną sytuacją: zazwyczaj analizujemy istniejące dane, gromadzone zwykle do innych celów niż analiza danych, i które, w pewnym sensie, są zbierane "przy okazji".

Przykładami typowych źródeł danych będą informacje z systemu automatyki przemysłowej (którego głównym celem jest sterowanie produkcją), systemu rejestrującego reklamacje zgłaszane przez klientów - służącego przede wszystkim do wspomagania rozwiązywania problemów klientów itp.

W data mining wykorzystuje się narzędzia pochodzące z trzech dziedzin - technologii bazodanowej (gromadzenie, udostępnianie i przetwarzanie danych), statystyki oraz uczenia maszyn i sztucznej inteligencji. W procesie data mining możemy wyróżnić cztery zasadnicze etapy:

(1) Przygotowanie danych, (2) Eksploracyjna analiza danych, (3) Właściwa analiza danych (budowa i ocena modelu lub odkrywanie wiedzy), (4) Wdrożenie i stosowanie modelu.

Warto zwrócić uwagę, że powyższe etapy nie przebiegają liniowo, jeden za drugim. Bardzo często na kolejnym etapie okazuje się, że powinniśmy wrócić do wcześniejszego (por. rysunek powyżej). Na etapie przygotowania danych decydujemy, z jakich informacji będziemy korzystać w analizie, pobieramy odpowiednie dane, sprawdzamy ich poprawność i dokonujemy odpowiednich przekształceń, aby zapewnić zgodność danych pochodzących z różnych źródeł.

Celem eksploracji danych jest poznanie ogólnych własności analizowanych danych: rozkładów jedno- i wielowymiarowych cech i podstawowych związków między zmiennymi. Wynikiem takiej wstępnej analizy jest wykrycie nietypowych przypadków. Po wykryciu odstających przypadków powinniśmy podjąć decyzję, jak będziemy z nimi postępować. Podczas eksploracji uzyskujemy również informacje, czy potrzebne i użyteczne będą jakieś przekształcenia oryginalnych danych. Przykładowo, w wyniku eksploracji danych może okazać się, że klasy zmiennej jakościowej występują tak rzadko, iż należy je połączyć z innymi.

Na etapie eksploracji danych bardzo często wykonujemy wstępną selekcję zmiennych, aby w dalszych analizach uwzględniać tylko te właściwości obiektów, które są istotne (np. wpływają na zmienną zależną). W razie wykrycia niejednorodności danych możemy pogrupować wszystkie przypadki (obiekty analiz) w jednorodne grupy i właściwą analizę wykonywać osobno dla grup.

Etap właściwej analizy danych rozpoczynamy od wstępnego doboru metod odpowiednich do rozwiązania problemu. Przy wyborze metody należy kierować się rodzajem problemu, wielkością zbioru danych, dopuszczalną złożonością modelu oraz wymaganiami odnośnie do możliwości interpretacji modelu.

Po wykonaniu analiz oceniamy, czy uzyskane wyniki są zadowalające. Kluczową sprawą jest, czy uzyskana informacja jest użyteczna z praktycznego punktu widzenia.

Zazwyczaj wykorzystujemy więcej niż jedną technikę analizy danych. Istnieje wiele różnych metod oceny modeli i wyboru najlepszego z nich. Często stosuje się techniki bazujące na porównawczej ocenie modeli (competitive evaluation of models), polegającej na stosowaniu poszczególnych metod dla tych samych zbiorów danych, a następnie wybraniu najlepszej z nich lub zbudowaniu modelu złożonego.

Techniki oceny i łączenia modeli (uważane często za kluczową część predykcyjnej eksploracji danych) to m.in.: agregacja modeli (głosowanie i uśrednianie; bagging), wzmacnianie (nazywane też losowaniem adaptacyjnym i łączeniem modeli, boosting), kontaminacja modeli (stacking, stacked generalizations) i metauczenie (meta-learning). Obszerne omówienie wskaźników jakości modeli i sposobów ich porównania znajduje się w ww. publikacjach źródłowych.