Nowy model uczenia się sztucznej inteligencji bije wszystkie rekordy
-
- Janusz Chustecki,
- 13.10.2021, godz. 09:10
Firmy Nvidia i Microsoft poinformowały, że stworzyły najbardziej rozbudowany model języka naturalnego wspierający technologię interaktywnego uczenia się sztucznej inteligencji, jaki udało się do tej pory komukolwiek opracować.
Rozwiązanie nosi nazwę Megatron-Turing Natural Language Generation i zawiera aż 530 mld parametrów zlokalizowanych w ponad stu warstwach oprogramowania. To bardzo dużo, gdyż najpotężniejszy do tej pory model, który potrafi doskonalić swoje umiejętności drogą maszynowego uczenia bez nadzoru człowieka (noszący nazwę GPT-3), zawiera trzy razy mniej parametrów.
Nowy model jest tak wymagający, że mogą go obsługiwać tylko najpotężniejsze systemy obliczeniowe, takie jak zajmujący obecnie szóste miejsce na liście Top500, wyprodukowany przez Nvidię superkomputer Selene.
Zobacz również:
- Projektowanie zorientowane na użytkownika - Polska powyżej europejskiej średniej
- Oficjalna premiera modelu Llama 3
- Cyfrowa transformacja z AI - co nowego na Google Cloud Next 24
Model Megatron-Turing Natural Language Generation został przeszkolony na 15 zestawach danych, które zawierały prawie 340 mld tokenów. Jednak podczas operacji maszynowego uczenia się, naukowcy natknęli się na problem występujący w tego rodzaju modelach, znany pod nazwą skrzywienia algorytmicznego (tzw. bias). Problem ten objawia się stronniczością i toksycznością modelu, co może sprowadzić sztuczną inteligencje na niebezpieczne ścieżki.
Z tych powodów opracowany kilka late temu przez Microsoft chatbot Tay zaczął np. w pewnym momencie, po kilku godzinach interakcji z użytkownikami internetu, głosić nazistowskie idee. Stał się rasistą i antysemitą. Microsoft i Nvidia pracują obecnie nad rozwiązaniem tego problemu, tak aby nowy model nie był podatny na tego rodzaju manipulacje.
