Nvidia pokazała najpotężniejszy na świecie chip AI
-
- Janusz Chustecki,
- 20.03.2024, godz. 09:12
Chodzi o nowy procesor graficzny B200 (robocza nazwa Blackwell), który ma wydajność rzędu 20 petaflopów i ma do dyspozycji 208 miliardów tranzystorów. Nvidia oferuje też układ GB200. To prawdziwy demon szybkości, który zawiera dwa takie procesory graficzne i nosi roboczą nazwę Grace.
Grace oferuje nawet 30-krotnie większą wydajność w przypadku obciążeń związanych z wnioskowaniem LLM. Zmniejsza jednocześnie koszty i zużycie energii nawet 25 razy w porównaniu z procesorem graficznym H100 (robocza nazwa Hopper). Nvidia twierdzi, że wyszkolenie modelu mającego do dyspozycji 1,8 biliona parametrów wymagało wcześniej 8000 procesorów graficznych Hopper i 15 megawatów mocy. Dzisiaj może to zrobić 2000 procesorów graficznych Blackwell, zużywając zaledwie cztery megawaty. W teście porównawczym GPT-3 LLM ze 175 miliardami parametrów, GB200 ma nieco skromniejszą, siedmiokrotnie większą wydajność niż H100, oferując czterokrotnie większą prędkość uczenia.
Nvidia informuje, że jednym z kluczowych ulepszeń jest silnik drugiej generacji, który podwaja moc obliczeniową oraz przepustowość, wykorzystując cztery bity na każdy neuron zamiast ośmiu . Druga kluczowa różnica dotyczy tego, ja Nvidia łączy tak ogromną liczbę procesorów graficznych. Robi to przełącznik NVLink nowej generacji, który umożliwia komunikację 576 procesorów graficznych z przepustowością dwukierunkową na poziomie 1,8 terabajta na sekundę. Wymagało to od Nvidii zbudowania zupełnie nowego przełącznika sieciowego, zawierającego 50 miliardów tranzystorów.
Zobacz również:
- Majowa konferencja Apple może być ważniejsza niż oczekujemy
- Akcje Intel spadają - winna rosnąca konkurencja w AI
- Nvidia podała już cenę za procesory Blackwell. Twierdzi, że "jest rozsądna"
Nvidia liczy teraz na to, że firmy będą kupować od niej duże ilości tych procesorów graficznych i pakuje je w większe konstrukcje, takie jak szafa GB200 NVL72, który umożliwia podłączenie 36 procesorów i 72 procesorów graficznych do jednego chłodzonego cieczą stojaka, co daje w sumie 720 petaflopów mocy. Firma twierdzi, że firmy Amazon, Google, Microsoft i Oracle zamierzają instalować takie szafy w swoich chmurach. Firma twierdzi, że jej systemy można skalować do dziesiątek tysięcy superchipów GB200, połączonych siecią 800 Gb/s za pomocą nowych urządzeń, takich jak Quantum-X800 InfiniBand (do 144 połączeń) lub Spectrum-X800 Ethernet (do 64 połączeń).
