O danych mówi się dzisiaj często jako o nowej ropie naftowej, zasobie naturalnym, który napędza wiele aspektów naszego życia. To porównanie do paliwa sprawia, że można zacząć zastanawiać się nad inną analogią: dane są jak żywność, której wszyscy potrzebujemy, żeby żyć i rozwijać się.

Jedzenie jest naturalnym, dostępnym w znacznych ilościach zasobem, który w odróżnieniu od ropy może być w systematyczny sposób uprawiany. Na doświadczenie „z pola na stół” składa się uprawa i zbieranie surowej żywności, oczyszczanie i przygotowywanie jej, tworzenie unikalnych przepisów i ostatecznie serwowanie pysznego posiłku. Ten proces ma wiele wspólnego z tym, co musimy zrobić z danymi - mając na uwadze optymalne wykorzystanie ich w przedsiębiorstwie.

Czym jest proces „z pola na stół” w odniesieniu do danych? W jaki sposób zbieramy dostępne powszechnie dane, i ekstrahujemy z nich istotne informacje? Przyjrzyjmy się szczegółom.

Wiele osób zdaje sobie sprawę, że dane mają jakieś pochodzenie i swój ciężar gatunkowy. Dane zwykle pozostają tam, gdzie są tworzone. Ich zbiory mają jednocześnie tendencję do dodatkowego rozrostu o podobne dane generowane w pobliżu. W pewnych przypadkach, dane nie powinny przekraczać określonych granic. Dlatego przedsiębiorstwa starają się wydobyć wartość ze wszystkich posiadanych przez siebie danych, i nadal gromadzą je we własnym centrum danych. To rodzi rzeczywistą potrzebę posiadania adekwatnych możliwości obliczeniowych potrzebnych do wykonania ekstrakcji. Jeśli wykorzystamy analogię do procesu przygotowywania żywności, to przypomina to lokalną uprawę i nabywanie lokalnych składników spożywczych.

Jak zatem przedsiębiorstwa włączają technologie sztucznej inteligencji do swojego biznesu i architektury IT? W jaki sposób wykorzystują je, żeby ułatwić zbieranie i przygotowanie danych? Podobnie jak z każdą nową technologią, istnieją mierzalne kroki, które organizacja musi podjąć. Trening i ewaluacja modeli uczenia maszynowego (ML) i głębokiego uczenia się (DL) przypominają opracowanie przepisu na potrawę; przy tym wdrożenie wytrenowanych modeli w wybranych aplikacjach przypomina układanie na talerzu i serwowanie posiłku.

Przyjrzyjmy się różnym etapom tego procesu. Zawsze warto rozumieć jak działają podstawowe technologie potrzebne na każdym etapie. Wszystko zaczyna się od gromadzenia nieprzetworzonych danych. Obejmuje to pozyskiwanie, transformację i przechowywanie. Kluczowe znaczenie ma zastosowanie odpowiedniej infrastruktury w zależności od wolumenu danych, ich rodzaju czy szybkości, z jaką napływają. Ustrukturyzowane dane trafiają do baz danych i hurtowni danych. Nieustrukturyzowane - mogą trafić do klastrów Hadoop. Bardziej specjalistyczne częściowo ustrukturyzowane dane mogą wymagać zastosowania kombinacji tych repozytoriów. Wszystkie te dane są włączane do firmowej architektury data lake.

Dostępność wszystkich danych pozwala na rozpoczęcie ekstrakcji i przygotowania określonych zestawów danych, które następnie można wykorzystać do treningu modeli ML i DL. W tym miejscu na scenę wkracza data scientist, czyli specjalista odpowiedzialny za dane. Jego zdaniem jest zastosowanie odpowiednich narzędzi, które pozwolą oczyścić dane, wzbogacić je o dodatkowe informacje, i stworzyć perfekcyjnie przygotowane zbiory. Przypomina to mycie, czyszczenie i cięcie surowej żywności, a następnie grupowanie i przechowywanie składników, które później zostaną wykorzystane na potrzeby różnych przepisów.

Trening i ewaluacja modelu to druga główna odpowiedzialność specjalistów odpowiedzialnych za dane (lub zespołu data science). Wymaga to umiejętności tworzenia testów smaku, tj. zadań obliczeniowych, z różnymi stopniami zmienności w typach modeli, parametrach, zestawach danych i metrykach wydajności. Zanim powstaną przepisy, które zadowolą podniebienie, potrzeba dużo pracy eksperymentalnej. Elastyczna i skalowalna infrastruktura sprzętowa, łatwe w użyciu narzędzia do zarządzania i orkiestracji, potężne frameworki i środowiska programistyczne - to wszystko, co jest potrzebne zespołowi odpowiedzialnemu za dane do osiągnięcia wysokiej produktywności w zakresie wyboru właściwych modeli.

Wreszcie, po wybraniu modeli, można rozpocząć etap wnioskowania. To moment, w którym model zostanie wykorzystany w oprogramowaniu, aplikacjach które wykorzystując analitykę nowej generacji, mają za zadanie dostarczanie lepszych, praktycznych informacji oraz udoskonalanie procesu podejmowania decyzji.

Zastosowanie sztucznej inteligencji w organizacji musi brać pod uwagę wcześniejsze doświadczenia związane z wprowadzaniem poprzednich fal technologii, takich jak cloud computing - sześć do ośmiu lat temu i Big Data - trzy-cztery lata temu. Kluczowymi wnioskami z tych lekcji było unikanie jednorazowych projektów w stylu eksperymentów naukowych. Ponad połowa do nawet trzech czwartych takich projektów zakończyła się niepowodzeniem. Problemem nie była wyłącznie technologia. Bez wprowadzenia istotnych zmian w procesach i kulturze organizacyjnej, nawet najlepsze nowe technologie stają się zwykłymi ciekawostkami, które nigdy nie znajdują szerokiego zastosowania.

Ostateczny wniosek z tych doświadczeń jest następujący: należy wybrać funkcję biznesową jako cel dla sztucznej inteligencji oraz określić oprogramowanie, w którym zostanie ona zaimplementowana i uruchomiona. Wybór funkcji biznesowej jest jak wybieranie kuchni narodowej, na której można się skupić. Wybór aplikacji przypomina wybór przystawki do dania głównego. Trzeba uruchomić program pilotażowy. Następnie wybrać i przygotować dane. Wreszcie należy zastanowić się - uruchamiając trening i wykonując testy porównawcze- jaki model wybrać dla konkretnych algorytmów ML i DL. Przypomina to wyszukiwanie przepisów i układanie menu. Kolejnym zadaniem jest wybór najlepiej wytrenowanych modeli i zarekomendowanie ich do włączenia do wybranej aplikacji. W tym momencie rozpoczyna się konsumpcja rezultatów wszystkich poprzednich etapów. Ludzie mogą wreszcie delektować się serwowanymi im pysznymi posiłkami. Przy okazji mogą pomyśleć o ciężkiej pracy, jaka została wykonana, żeby żywność z pola trafiła na stół. Oczywiście ciągłe udoskonalanie modeli w oparciu o informacje zwrotne płynące z ich bieżącego użytkowania jest niezbędne, aby pozostać na bieżąco w ciągle zmieniającym się świecie biznesu.

Pomyślne zakończenie pilotażu i ewentualne zastosowanie jego wyników w rozwiązaniach produkcyjnych, pozwala na powtórzenie całego procesu mając za cel następną aplikację. A później kolejną. I kolejną. I tak dalej.

Warto przy tym pamiętać o kilku istotnych kwestiach: kluczowe znaczenie ma szukanie wsparcia i pozyskiwanie odpowiednich umiejętności. Eksploracja modeli ML / DL może sama w sobie stać się projektem. Bardzo ważne jest, aby wysiłki te skupiały się na obsłudze wybranych aplikacji, do których mają być dodane funkcje sztucznej inteligencji.

Wprowadzanie sztucznej inteligencji do organizacji może wydawać się trudnym zadaniem, podobnie jak gotowanie może być stresujące dla tych, którzy nie znają się na kuchni. Ktoś, kto dopiero uczy się przygotowywać posiłki, może wziąć lekcje gotowania od szefa kuchni. Podobnie, Lenovo ma wiele do zaoferowania przedsiębiorstwom rozpoczynającym przygodę ze sztuczną inteligencją. Począwszy od konsultacji w zakresie oceny docelowego obszaru zastosowań, Lenovo DCG może dostarczyć także infrastrukturę, powiązane narzędzia i doświadczenie ekosystemowe - w taki sposób, żeby cała przygoda przyniosła biznesowi same korzyści.