Nowy model uczenia się sztucznej inteligencji bije wszystkie rekordy

Firmy Nvidia i Microsoft poinformowały, że stworzyły najbardziej rozbudowany model języka naturalnego wspierający technologię interaktywnego uczenia się sztucznej inteligencji, jaki udało się do tej pory komukolwiek opracować.

Foto: Michael Dziedzic/Unsplash

Rozwiązanie nosi nazwę Megatron-Turing Natural Language Generation i zawiera aż 530 mld parametrów zlokalizowanych w ponad stu warstwach oprogramowania. To bardzo dużo, gdyż najpotężniejszy do tej pory model, który potrafi doskonalić swoje umiejętności drogą maszynowego uczenia bez nadzoru człowieka (noszący nazwę GPT-3), zawiera trzy razy mniej parametrów.

Nowy model jest tak wymagający, że mogą go obsługiwać tylko najpotężniejsze systemy obliczeniowe, takie jak zajmujący obecnie szóste miejsce na liście Top500, wyprodukowany przez Nvidię superkomputer Selene.

Zobacz również:

  • Tak Microsoft walczy z przeglądarką Chrome
  • AI w biznesie – kiedy się sprawdza?
  • ONZ zajmie się sztuczną inteligencją

Model Megatron-Turing Natural Language Generation został przeszkolony na 15 zestawach danych, które zawierały prawie 340 mld tokenów. Jednak podczas operacji maszynowego uczenia się, naukowcy natknęli się na problem występujący w tego rodzaju modelach, znany pod nazwą skrzywienia algorytmicznego (tzw. bias). Problem ten objawia się stronniczością i toksycznością modelu, co może sprowadzić sztuczną inteligencje na niebezpieczne ścieżki.

Z tych powodów opracowany kilka late temu przez Microsoft chatbot Tay zaczął np. w pewnym momencie, po kilku godzinach interakcji z użytkownikami internetu, głosić nazistowskie idee. Stał się rasistą i antysemitą. Microsoft i Nvidia pracują obecnie nad rozwiązaniem tego problemu, tak aby nowy model nie był podatny na tego rodzaju manipulacje.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200