CW: Kiedy rozpoczęli Panowie właśnie pracę nad polskim botem opartym na generatywnej sztucznej inteligencji? Przed upublicznieniem ChatGPT OpenAI czy wcześniej?

JK: Wziąwszy pod uwagę to, że nasz model oparty jest także o architekturę Transformer, to pracujemy z takimi modelami od ponad 3 lat. Jeśli chodzi o takie użycie jak w ChatGPT, autoregresywne, czyli takie które jest w stanie produkować tekst, to w kontekście przymiarek do stworzenia czegoś takiego na języka polskiego, zaczęliśmy pracę niedługo po upublicznieniu ChatuGPT. Już wcześniej zajmowaliśmy się takimi aspektami przetwarzania tekstu jak dzielenie tekstu na słowa czy zdania, a także określanie kategorii gramatycznych wyrazów. Robiliśmy np. modele, które realizują analizę morfosyntaktyczną tekstu, czyli określanie kategorii gramatycznych wyrazów, a także ich atrybutów - takich jak liczba, rodzaj itd. Robiliśmy też programy rozpoznające nazwy własne w tekście (np. nazwy miast, krajów, ulic) oraz rozpoznające emocje i wydźwięk tekstu. Te zadania nie wymagają generowania tekstu. Zresztą te pierwsze architektury transformerowe służyły głównie do tego, żeby reprezentować znany już tekst. Klasyczny Transformer jest modelem enkoder-dekoder, przy czym enkoder musi widzieć cały znany wcześniej tekst. To znaczy, że na wejściu podawany był tekst, a my z tym tekstem coś robimy, przykładowo określamy jakąś klasę tego tekstu, albo stwierdzamy, czy jest śmieszny. Ostatnie dwa lata z Przemkiem poświęciliśmy dużo wysiłku bardzo nowatorskiemu rozwiązaniu, mianowicie personalizacji takich modeli. Wtedy, model nie tylko określa, czy tekst jest śmieszny czy smutny, ale zadajemy pytanie „Dla kogo ten tekst będzie śmieszny” albo jakie emocje wywoła u konkretnej osoby.

Zobacz również:

• Blaski i cienie AI
• IDC CIO Summit – potencjał drzemiący w algorytmach

A w jaki sposób można sprawdzić tę ostatnią opcję?

PK: Jak większość problemów w sztucznej inteligencji i uczeniu maszynowym, trenujemy modele na dostępnych danych i sprawdzamy na danych nieznanych. W przypadku personalizacji wnioskowania dla tekstów wystarczy, że mamy kilka tekstów oznaczonych przez daną osobę i model jest w stanie dopasować swoje wnioskowanie do tej osoby. Podobnie można wykorzystywać ChatGPT. Podajemy mu w wejściowym pytaniu (prompt) informację o kilku tekstach, które są dla nas obraźliwe wraz z pytaniem o obraźliwość nowego tekstu. Na podstawie takiego dodatkowego kontekstu model jest w stanie inaczej wnioskować.

Skąd pomysł, by rzucić rękawicę światowym gigantom i pracować nad „polskim ChatemGPT”?

PK: W tej chwili jest potrzeba społeczna. Wydaje mi się, że firma OpenAI niejako „wywróciła stolik”. Ich model wcale nie jest jedyny, ale jako pierwszy został tak szeroko upubliczniony. Inne firmy robiły rzeczy bardzo podobne, ale raczej prezentowały efekty prac w gronie naukowym czy branżowym, na konferencjach, czy umieszczały je w konkretnych produktach. OpenAI zmieniło reguły gry poprzez pokazanie swojej technologii ogółowi społeczeństwa. W efekcie nagle wszyscy ludzie zobaczyli możliwości AI. W konsekwencji nagle musimy się jakoś do tego ustosunkować. My, także jako Polska, musimy intensywniej uczestniczyć w rozwoju sztucznej inteligencji. Nie powinniśmy ograniczać się tylko do kilku specjalistycznych projektów naukowych. Nasz 20-osobowy zespół szybko robił badania tej zimy nad Chatem GPT. Zauważyliśmy np. co technologia Chat GPT wprowadza nowego takiego istotnego stosunku do innych modeli. To były właściwie pierwsze tak duże badania na ten temat na świecie. W tym celu zadaliśmy i przeanalizowali ponad 70 tysięcy pytań, aby przetestować możliwości ChatGPT oraz GPT-4 i ocenić jak sobie one radzą w różnych zadaniach? J ak on się ma do innych najlepszych w danym zadaniu rozwiązań, na konkretnych zbiorach, także polskich, itd. W tej chwili wyniki zostały już opublikowane w czasopiśmie Information Fusion, jednym z najlepszych w dziedzinie sztucznej inteligencji (artykuł dostępny jest pod tym linkiem).

OpenAI zmieniło reguły gry poprzez pokazanie swojej technologii ogółowi społeczeństwa. W efekcie nagle wszyscy ludzie zobaczyli możliwości AI. W konsekwencji nagle musimy się jakoś do tego ustosunkować. My, także jako Polska, musimy intensywniej uczestniczyć w rozwoju sztucznej inteligencji.

Jakie są główne wnioski z Państwa badania?

Przede wszystkim okazało się, że ChatGPT przyzwoicie radzi sobie z rozwiązywaniem większości problemów, ale w niczym nie jest z mistrzem, w niczym nie jest najlepszy. Istotnie gorzej radzi sobie z bardzo trudnymi problemami, do których należy rozpoznawanie przeżywanych emocji podczas czytania danych treści, także w rozpoznawaniu ironii czy sarkazmu. Nie radzi sobie z nimi „jeszcze”. Pamiętajmy też, że to nie są łatwe zadania dla wielu ludzi. Spadek jakości działania ChatGPT w takich trudnych zadaniach nie jest jednak na tyle duży, by był bardzo istotny np. dla biznesu. Natomiast bot faktycznie okazał się szybki i skuteczny w wielu prostszych zadaniach, np. czy odpowiedź na pytanie X jest zapisana we fragmencie tekstu Y. Im trudniejsze zadanie, tym większa była ta różnica między najlepszymi modelami a Chatem GPT właśnie.

ChatGPT przyzwoicie radzi sobie z rozwiązywaniem większości problemów, ale w niczym nie jest z mistrzem, w niczym nie jest najlepszy.

Dodatkowo, tak naprawdę nie wiemy, na czym był trenowany ChatGPT oraz GPT4. Wydaje nam się, że większość zadań, które sprawdzaliśmy była dla niego nowa, nie znał ich. To oczywiście obniża jego wynik. Jeżeli model jest trenowany do danego zadania, to oczywiście radzi sobie lepiej z analogicznym. Konkluzja naszego artykułu jest taka, że wprawdzie ChatGPT trochę gorzej wypada w złożonych zadaniach, ale z drugiej strony, jak na model, który nigdy nie był trenowany konkretnie na tych zadaniach, to radził sobie świetnie. Innymi słowy; możemy wymyślić dla niego dowolne zadanie i dostać akceptowalny wynik, przynajmniej dla biznesu.

Dużo się teraz mówi, że AI zabierze ludziom pracę.

Wszystko zależy od naszego podejścia. W praktyce, to nie stanie się tak szybko, bo właśnie człowiek ma kompetencje, żeby ocenić jakość modelu sztucznej inteligencji. Naszym zdaniem, może ona być świetnym wsparciem w wielu pracach . Ostatnio modnym tematem w mediach jest czterodniowy tydzień pracy. Pewnie w naszej pracy każdy z nas znajdzie takie powtarzalne, bezmyślne czynności. Fajnie by było, gdyby maszyna nas w nich wyręczyła, np. posegregowała maile czy sporządziła notatki ze spotkań. To już nieźle działa, ale dla języka angielskiego, nie polskiego.

ChatGPT nie dał sobie rady po polsku. Wiadomo, że nie umie pisać wierszy czy piosenek po polsku, czyli nie rymuje. Mamy hipotezę, że to efekt braku treningu ChatuGPT z wykorzystaniem dużej próbki języka polskiego.

Aktualnie ogólną sztuczną inteligencję taką jak ChatGPT możemy bardzo szybko wykorzystać do różnego rodzaju szybkiego prototypowania i testowania. Nie tracimy wtedy kilku miesięcy na konstruowanie dedykowanych modeli. Przyspiesza to badania. Przykład? Przyszedł do nas ostatnio przychodzi naukowiec ze swoim korpusem dziedzinowym tekstów i pytaniem, czy mamy narzędzia, przy pomocy których moglibyśmy wyjąć wszystkie przymiotniki i przysłówki odnoszące się do konkretnych emocji. Zleciliśmy to ChatGPT i otrzymaliśmy świetny wynik.

Przeanalizowali Panowie ChatGPT. Czy w Waszym autorskim, polskim rozwiązaniu niwelujecie słabości ChatGPT?

Oczywiście, chcemy to zrobić, natomiast warto też pamiętać o tym, że ChatGPT jest modelem bazującym na GPT-3.5. OpenAI ujawniła, że tylko na trening tego modelu wydała ponad 4 mln dolarów. Pieniądze są dla nas największą przeszkodą. Nasz grant z POIR (Program Operacyjny Inteligentny Rozwój) oraz z funduszy Wrocławskiego Centrum Sieciowo Superkomputerowego na zakup sprzętu to ok. 80 mln złotych. Najprawdopodobniej, sprzęt obliczeniowy będziemy mieć dopiero w przyszłym roku. Drugą kluczową rzeczą jest dostępność bardzo dużej liczby tekstów, na których trenujemy wstępnie model, żeby on w ogóle rozumiał język naturalny. Mamy ich ogrom, ale potrzebujemy więcej, bo język polski stwarza wiele trudności. Chodzi w szczególności o treści specyficzne dla polskiego kontekstu kulturowego i społecznego. Okienko na stronie Clarin-PL to aktualnie de facto okienko do ChatGPT. Na razie zachęcamy ludzi do używania ChatGPT przy użyciu tego okienka po to, żeby użytkownicy powiedzieli nam, z czym ChatGPT nie dał sobie rady po polsku. Wiadomo, że nie umie pisać wierszy czy piosenek po polsku, czyli nie rymuje. Mamy hipotezę, że to efekt braku treningu ChatuGPT z wykorzystaniem dużej próbki języka polskiego. Zaangażowało się w to już sporo ludzi.

Potrzebna będzie weryfikacja przez człowieka, która może być trudniejsza niż obecnie. Czasem będzie to dla nas oznaczać więcej pracy niż samodzielne stworzenie tej treści.

Drugą kwestią jest bardzo duża liczba instrukcji wraz z poprawnymi odpowiedziami, na których taki chatbot jest trenowany, uczy się go konkretnych zachowań w interakcji z człowiekiem. Nasz docelowy model potrzebuje innego zestawu instrukcji treningowych niż te z oryginalnego ChataGPT. Dzięki feedbackowi otrzymanemu z naszej polskiej społeczności stworzymy docelowy zbiór danych, na którym wytrenujemy najlepszy model dla języka polskiego. Będzie rozumiał nasz język naturalny. Ponadto z biznesowego punktu widzenia ważne jest, by działanie modelu było zgodne z politykami firmy, czyli żeby np. nie poruszał pewnych kontrowersyjnych tematów, nie był agresywny czy obraźliwy. Tu dotykamy kwestii tego, że jako społeczeństwo nie mamy żadnej kontroli nad tym, co robi firma OpenAI. ChatGPT jest skrojony pod potrzeby amerykańskich firm i społeczeństwa, ich spojrzenia na świat i jego rozumienia. Akceptowalność różnych rzeczy jest inna niż w Polsce czy Europie. Powinniśmy robić swoje rzeczy, żeby nam inni nie narzucili jak świat wygląda albo jak powinien wyglądać według nich. To nie muszą być tylko kwestie światopoglądowe czy kwestia innej wrażliwości, ale też mnóstwo pytań o fakty. Tego typu systemy będą coraz bardziej przejmować rolę pewnej ogólnej bazy wiedzy, a co za tym, idzie wpływu na społeczeństwo. Innymi słowy - kształtować narrację, np. kto jest winny wojnie na Ukrainie. Obawiamy się, że coraz trudniej nam będzie rozróżnić to czy daną treść napisał człowiek czy maszyna. Dlatego tak ważny jest nasz udział w tej rewolucji.

Rozwój generalnej sztucznej inteligencji będzie powodował, że coraz mniej będziemy potrzebowali przetwarzać informacje w sposób pogłębiony i racjonalny, bo systemy będą to za nas robiły.

Czy studenci politechniki już podsyłają prace napisane przez ChatGPT?

Nie obawiamy się tego. Ważniejsze jest, jakie konsekwencje będzie miał szybki rozwój sztucznej inteligencji na cały system edukacji. Naszym zdaniem to jest kwestia zaufania do prezentowanych nam treści. Już teraz coraz częściej nie wiadomo, czy mamy w sieci do czynienia z botem czy z człowiekiem. To może skutkować atrofią zaufania i relacji międzyludzkich. Ponadto sposób myślenia ludzi może zostać zdominowany przez maszynę, w konsekwencji będziemy naśladować jej rozumowanie i komunikację. Musimy też zadać sobie pytanie, jak powinien wyglądać nasz system edukacji? Będziemy bowiem przygotowywać ludzi do życia w świecie w dużej mierze zdominowanym przez sztuczną inteligencję. Nie ma na to prostej odpowiedzi. Sądzimy, że powinniśmy kształcić ludzi do samodzielności, do kreatywności, do współpracy w grupie i rozwiązywania problemów, a nie do tego, żeby zaliczali jakieś kursy, mieli jakąś taką czy inną wiedzę faktograficzną i żeby walczyli o takie czy inne oceny. Obecnie coraz trudniej jest rozwiązywać rzeczywiste problemy czy prowadzić badania w pojedynkę. Weźmy choćby to nasze wielkie badanie z początku roku, które zrobiliśmy w ponad 20 osób. Wymagało to dużej współpracy, a by szybko „dowieźć” rezultat. Ponadto, przyrost wiedzy jest obecnie zbyt duży, żeby jeden człowiek ją opanował. Po co w obecnych czasach zadawać dziecku zadania domowe, skoro ono zleci zrobienie ich ChatowiGPT? Już nawet nie musi przepisywać Wikipedii? Wbrew pozorom, im więcej będzie narzędzi do generowania treści, tym np. dziennikarzom i innym profesjom będzie trudniej. Te treści niekoniecznie będą dobre i poprawne, a media będą musiały dotrzeć do sedna i ustalić, czy treść nie jest fałszywa i wygenerowana przez maszynę. Narzędzia generatywne mogą też np. generować pozwy prawne i argumenty, co nie oznacza, że będą one słuszne i prawdziwe a strona wygra sprawę. Potrzebna będzie weryfikacja przez człowieka, która może być trudniejsza niż obecnie. Czasem będzie to dla nas oznaczać więcej pracy niż samodzielne stworzenie tej treści.

Sztuczna inteligencja jest bardzo ważnym elementem budowania przewag konkurencyjnych.

Na Zachodzie narasta dyskusja, czy mianowicie nie robimy dzieciom krzywdy, wrzucając je od początku życia tak głęboko w świat cyfrowy. Jak to odbije się na ich psychice i zdolnościach do przetwarzania informacji czy kreowania relacji międzyludzkich? Jesteśmy ostatnim pokoleniem, które jeszcze wychowało się bez tych cyfrowych nowinek i dzięki temu mamy krytyczne myślenie pozwalające nam trochę krytyczniej odróżnić świat cyfrowy od rzeczywistego. Obserwujemy teraz drastyczny wzrost liczby samobójstw, depresji i zaburzeń emocji u młodych ludzi i to często jest skorelowane, na przykład, z przesiadywaniem godzinami w mediach społecznościowych. We Francji rozważany jest zakaz korzystania z mediów społecznościowych dla osób do 15-16 roku życia. Mówi się też o tym, że TikTok na Europę i Amerykę to źródło mało rozwijających treści, prostych bezmyślnych filmików, które zresztą są jeszcze tak podawane, żeby maksymalnie długo człowieka zatrzymać w aplikacji, podczas gdy podobno TikTok na Chiny wygląda zupełnie inaczej. Tam właśnie dzieciaki dostają treści kreatywne, a naukowcy są tam traktowani jak celebryci; są też odgórne limity czasu, który dzieci mogą spędzić w aplikacji itd. Oczywiście, pewnie nie będziemy chcieli żyć w takim świecie jak chiński, ale może w tych konkretnych aspektach oni wygrają. Jako odpowiadający za rozwój kolejnych pokoleń musimy to społecznie przedyskutować.

Rozwój generalnej sztucznej inteligencji będzie powodował, że coraz mniej będziemy potrzebowali przetwarzać informacje w sposób pogłębiony i racjonalny, bo systemy będą to za nas robiły. Wiele badań pokazuje, że jeżeli na dane pytanie, odpowiedź od razu jest podawana w przeglądarce, to większość ludzi nawet nie zagląda w linki źródłowe, tylko od razu „bierze” podaną odpowiedź . Nasz mózg lubi heurystyki i generalnie jest leniwy. Okazuje się, że efektem spędzania długiego czasu w świecie cyfrowym są-zmiany w modelu zapamiętywania - łatwiej jest nam zapamiętać link do informacji i słowa kluczowe niż zapamiętać samą informację. Systemy wiedzą o nas coraz więcej, czego szukamy i potrzebujemy. Stają coraz bardziej spersonalizowane i otaczają nas coraz szczelniejszą bańką, która jest dodatkowo bardzo przyjemna i miła. Będziemy więc coraz bardziej uzależniać się od systemów, a w dłuższej perspektywie zatracać zdolność do racjonalnego myślenia. Prawdopodobnie będziemy coraz głupsi. A jak nie będziemy racjonalnie myśleć , to nasz mózg się będzie redukował. Sądzę , że warto zacząć rozważać o tym jak zachować swoje człowieczeństwo. Chat GPT to jak otwarcie puszki Pandory.

Sztuczna inteligencja jest bardzo ważnym elementem budowania przewag konkurencyjnych. Musimy jako Polska włączyć się w ten wyścig, żebyśmy się nie znaleźli na peryferiach świata, żeby nie stać się niejako krajem-kolonią. Dzięki odpowiedziom, które gromadzimy przez polskie okienko na ChatGPT, budujemy lokalną bazę drogich, bo pochodzących od ludzi, danych. Powinniśmy też więcej zainwestować w edukację związaną ze sztuczną inteligencją, jeżeli chcemy odgrywać tutaj ważną rolę.