Jest to zjawisko polegające na tym, że AI generuje fałszywe czy wręcz absurdalne odpowiedzi. Zjawisko to jest spowodowane tym, że uczenie maszynowe – a więc proces, podczas którego algorytmy analizują olbrzymią ilość informacji, dzięki którym uczą się – zawodzi. AI popada wtedy w stan, któremu informatycy nadali nazwę halucynacja. AI wie bowiem tylko tyle, ile zdążyła nauczyć się.

AI może popaść w stan halucynacji wtedy, gdy dostępny jej zbiór danych jest niewystarczający, niekompletny lub stronniczy. System stara się jednak na podstawie takich danych wygenerować interesującą użytkownika, co w efekcie prowadzi do tworzenia fałszywych treści. Wyobraźmy sobie na przykład model sztucznej inteligencji, któremu pokazano zdjęcie wyżła i zadano pytanie, jaka to rasa. Co się w takim przypadku stanie, gdy podczas szkolenia, model taki nie natknął się nigdy na zdjęcie przedstawiające wyżła. Może więc wtedy odpowiedzieć iż jest to dalmatyńczyk.

Zobacz również:

• Google łata 50 luk systemu Android
• Meta ulega presji europejskich regulatorów

Przyczyną halucynacji może też być zjawisko tzw. nadmiernego dopasowania. Występuje ono wtedy, gdy uczenie maszynowe zbyt blisko dostosowuje się do dostępnego mu zbioru danych. AI potrafi stracić wtedy zdolność uogólniania i prawidłowego rozpoznawania nowych, nieznanych jej wcześniej wzorców. Pół biedy, gdy zjawisko takie ma miejsce podczas procesu uczenia się. Gdy dochodzi jednak do takiej sytuacji wtedy, gdy AI świadczy swoje usługi w rzeczywistym świecie, to użytkownik może odnieść wrażenie, że sztuczna inteligencja popadła w stan halucynacji, gdyż wygenerowała jakąś bzdurną odpowiedź.

Wreszcie halucynacje mogą wynikać z błędnych założeń lub nieodpowiedniej architektury modelu. Jeśli projektanci AI oprze swoje rozwiązanie na błędnych przesłankach lub zastosują niewłaściwą strukturę algorytmiczną, system wygeneruje fałszywą treść, próbując „dopasować” te błędne założenia do rzeczywistych danych.

Nie sposób wreszcie nie wspomnieć o jeszcze jednej przyczynie, z powodu której AI popadają w stan halucynacji. Może to być celowe działania hakerów, którzy włamuj się do systemów AI, zmieniając celowo dane z których korzystają. I tak np. może mu nawiązać do poprzedniego przykładu z wyżłem. Nawet gdy AI ma w swoich zasobach taki wizerunek, to haker może go tak zmodyfikować, aby AI wygenerowało błędną odpowiedź. Tego typu ataki mogą skutkować tym, że system rozpoznawania twarzy wykorzystujący AI nie będzie wstanie prawidło zinterpretować osoby.

Dużo gorsze skutki może wywołać atak na oprogramowanie AI wspomagające pracę komputera sterującego ruchem autonomicznego pojazdu. Wyobraźmy sobie np. sytuację, gdy wizerunek znaku stop jest zastąpiony innym. To już nie jest zwykły atak, to zbrodnia. Twórcy systemów AI robią więc wszystko, aby opracować rozwiązania, dzięki którym będą one odporne na takie zagrożenia.