G42 z siedzibą w Abu Dhabi to konglomerat technologiczny z dziewięcioma spółkami operacyjnymi, które obejmują centra danych i firmy świadczące usługi w chmurze. G42 ogłosiło, że planuje wykorzystać systemy Cerebras do sprzedaży usług obliczeniowych AI firmom z branży opieki zdrowotnej i energetycznej. G42 zebrał już 800 milionów dolarów od amerykańskiej firmy inwestycyjnej Silver Lake, która ma wsparcie od Mudabala, państwowego funduszu majątkowego Zjednoczonych Emiratów Arabskich.

Na marginesie przypomnijmy, że Zjednoczone Emiraty Arabskie były pierwszym krajem, który powołał ministra ds. sztucznej inteligencji w swoim rządzie federalnym, po czym nastąpiły ogromne inwestycje, w tym utworzenie partnera badawczego G42, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), pierwszego uniwersytetu na świecie, który w całości koncentruje się na sztucznej inteligencji.

Cerebras Systems, spółka z amerykańskiej Doliny Krzemowej, poinformowała, że konglomerat G42 ze Zjednoczonych Emiratów Arabskich zgodziła się na zakup trzech systemów o nazwie Condor Galaxy wszystkie zostaną zbudowane w USA). Pierwszy z nich zostanie uruchomiony jeszcze w tym roku, a dwa kolejne na początku 2024 roku. Dyrektor generalny Cerebras, Andrew Feldman, opisał transakcję jako początek „strategicznego partnerstwa” i powiedział, że obie firmy prowadzą rozmowy dotyczące nawet sześciu dodatkowych superkomputerów do końca 2024 roku. W tle umowy jest oczywiście niedobór półprzewodników, długi czas oczekiwania na układy scalone i chęć odebrania prymatu NVidii.

Feldman planuje przenieść się do Zjednoczonych Emiratów Arabskich na trzy miesiące, aby współpracować z G42 nad rozwojem usług obliczeniowych opartych na systemach, nazywając to „rzadką okazją do zmiany ogromnego rynku”, donosi agencja Reutera.

„Cerebras ma coś, co nazywają „usługą białych rękawiczek”, która ułatwiła nam tworzenie systemów sztucznej inteligencji na swoich maszynach”, powiedział z kolei Reuterowi Talal AlKaissi, dyrektor generalny G42 Cloud. „Będzie pewna nadwyżka mocy produkcyjnych, którą mamy nadzieję sprzedawać hurtowo z Cerebras klientom w społeczności open-source AI z wielu miejsc na całym świecie, zwłaszcza w ekosystemie amerykańskim”.

Trenowanie dużych modeli wymaga ogromnych ilości obliczeń, ogromnych zbiorów danych i specjalistycznej wiedzy z zakresu sztucznej inteligencji. Jak twierdzą firmy, partnerstwo pomiędzy G42 i Cerebras zapewnia wszystkie te trzy elementy. Praca G42 z różnorodnymi zbiorami danych z zakresu opieki zdrowotnej, energii i badań klimatycznych umożliwi użytkownikom systemów trenowanie nowych, przełomowych modeli podstawowych. Cerebras i G42 łączą zespół inżynierów sprzętu, inżynierów danych, naukowców zajmujących się sztuczną inteligencją i specjalistów branżowych, aby zapewnić kompleksową ofertę sztucznej inteligencji w celu rozwiązywania problemów klientów. Podkreślają, że połączenie przyniesie przełomowe wyniki i przyspieszy rozwój setek projektów AI na całym świecie.

Strategiczne partnerstwo Cerebras-G42 pozwoliło już opracować najnowocześniejsze modele sztucznej inteligencji w zakresie dwujęzycznego czatu w języku arabskim, opieki zdrowotnej i badań klimatycznych. „Dostarczając 4 exaFLOPs obliczeń AI przy FP 16, CG-1 radykalnie skraca czas szkolenia AI, eliminując jednocześnie ból związany z obliczeniami rozproszonymi”, powiedział Andrew Feldman, dyrektor generalny Cerebras Systems. „Wiele firm działających w chmurze ogłosiło budowę ogromnych klastrów GPU, które kosztują miliardy dolarów, ale są niezwykle trudne w użyciu. Dystrybucja pojedynczego modelu na tysiące maleńkich układów GPU zajmuje miesiące czasu dziesiątkom osób z rzadką wiedzą specjalistyczną. CG-1 eliminuje to wyzwanie. Konfiguracja generatywnego modelu sztucznej inteligencji zajmuje minuty, a nie miesiące i może być wykonana przez jedną osobę. CG-1 jest pierwszym z trzech superkomputerów AI o wydajności 4 exaFLOP, które zostaną wdrożone w Stanach Zjednoczonych. W ciągu następnego roku, wraz z G42, planujemy rozszerzyć to wdrożenie i stworzyć oszałamiającą liczbę 36 exaFLOP wydajnych, specjalnie zaprojektowanych obliczeń AI”.

Największy na świecie superkomputer do treningu sztucznej inteligencji z 4 exaFLOPami

20 lipca uruchomiono pierwszy z objętych umową dziewięciu połączonych ze sobą superkomputerów AI wraz systemem Condor Galaxy, który osiągnie łączną pojemność szkoleniową AI wynoszącą 36 exaFLOPs.

Ciekawostką jest pochodzenie nazwy systemu. Inspiracją była galaktyka Kondora, znana również jako NGC 6872, rozciąga się na 522 000 lat świetlnych od wierzchołka do wierzchołka, czyli około 5 razy więcej niż Droga Mleczna. Galaktyka jest widoczna na południowym niebie jako część konstelacji Pavo i znajduje się 212 milionów lat świetlnych od Ziemi.

Pierwszy superkomputer AI w tej sieci, Condor Galaxy 1 (CG-1), ma 4 exaFLOPs i 54 miliony rdzeni. Cerebras i G42 planują wdrożyć dwa kolejne takie superkomputery, CG-2 i CG-3, w USA na początku 2024 roku. Planowana łączna wydajność sieci superkomputerów to 36 exaFLOPs.

„Współpraca z Cerebras w celu szybkiego dostarczenia najszybszego na świecie superkomputera szkoleniowego AI i położenia podwalin pod połączenie konstelacji tych superkomputerów na całym świecie była niezwykle ekscytująca. Partnerstwo to łączy niezwykłe możliwości obliczeniowe Cerebras z wielobranżową wiedzą G42 w zakresie sztucznej inteligencji. Wspólną wizją G42 i Cerebras jest to, że Condor Galaxy zostanie wykorzystany do sprostania najpilniejszym wyzwaniom społecznym w zakresie opieki zdrowotnej, energii, działań na rzecz klimatu i nie tylko”, napisał Talal Alkaissi, dyrektor generalny G42 Cloud, spółki zależnej G42.

CG-1 jest zlokalizowany w Colovore, wysokowydajnym obiekcie kolokacyjnym w Santa Clara w Kalifornii, łączy 64 systemy Cerebras CS-2 w jeden, łatwy w użyciu superkomputer AI, o wydajności treningowej AI wynoszącej 4 exaFLOPs. Cerebras i G42 oferują CG-1 jako usługę w chmurze. CG-1 to pierwszy przypadek współpracy Cerebras nie tylko w celu zbudowania dedykowanego superkomputera AI, ale także w celu zarządzania nim i jego obsługi. CG-1 został zaprojektowany, aby umożliwić G42 i jej klientom w chmurze szybkie i łatwe trenowanie dużych, przełomowych modeli.

CG-1 został zoptymalizowany pod kątem dużych modeli językowych i generatywnej sztucznej inteligencji, zapewnia 4 exaFLOPs 16-bitowych obliczeń AI, ze standardową obsługą do 600 miliardów parametrów modeli i rozszerzalnymi konfiguracjami, które obsługują do 100 bilionów parametrów modeli. Dzięki 54 milionom rdzeni obliczeniowych zoptymalizowanych pod kątem sztucznej inteligencji, 388 terabitom na sekundę przepustowości sieci szkieletowej i 72 704 rdzeniom procesorów AMD EPYC, (w przeciwieństwie do jakiegokolwiek znanego klastra GPU), CG-1 zapewnia niemal liniowe skalowanie wydajności od 1 do 64 systemów CS-2 przy użyciu prostej równoległości danych. „Firma AMD jest zaangażowana w przyspieszanie sztucznej inteligencji dzięki najnowocześniejszym procesorom obliczeniowym o wysokiej wydajności i adaptacyjnym produktom obliczeniowym, a także poprzez współpracę z innowacyjnymi firmami, takimi jak Cerebras, które podzielają naszą wizję wszechobecnej sztucznej inteligencji”,powiedział cytowany przez Cerebras Forrest Norrod, wiceprezes wykonawczy i dyrektor generalny Data Center Solutions Business Group w AMD. „Napędzany przez ponad 70 000 rdzeni procesorów AMD EPYC, Condor Galaxy 1 firmy Cerebras udostępni ogromne zasoby obliczeniowe naukowcom i przedsiębiorstwom, które rozwijają sztuczną inteligencję”.

CG-1 oferuje natywną obsługę treningu z długimi sekwencjami, do 50 000 tokenów po wyjęciu z pudełka, bez żadnych specjalnych bibliotek oprogramowania. Programowanie CG-1 odbywa się całkowicie bez użycia złożonych, rozproszonych języków programowania, co oznacza, że nawet największe modele mogą być uruchamiane bez tygodni lub miesięcy spędzonych na dystrybucji pracy na tysiącach procesorów graficznych.

Cerebres podkreśla, że CG-1 jest obsługiwany zgodnie z prawem Stanów Zjednoczonych. Każdy system Cerebras CS-2 jest projektowany, pakowany, produkowany, testowany i integrowany w USA; Cerebras jest jedyną firmą zajmującą się sprzętem AI, która pakuje procesory i produkuje systemy AI w USA.

CG-1 to pierwszy z trzech superkomputerów AI o wydajności 4 exaFLOP (CG-1, CG-2 i CG-3), zbudowanych i zlokalizowanych w USA przez firmy Cerebras i G42 w ramach partnerstwa. Te trzy superkomputery AI zostaną połączone w rozproszony superkomputer AI o wydajności 12 exaFLOP, 162 mln rdzeni, składający się ze 192 komputerów Cerebras CS-2 i zasilany przez ponad 218 000 wysokowydajnych rdzeni procesorów AMD EPYC. G42 i Cerebras planują uruchomić sześć dodatkowych superkomputerów Condor Galaxy w 2024 roku, zwiększając całkowitą moc obliczeniową do 36 exaFLOPs.

Więcej informacji można znaleźć na stronie www.condorgalaxy.ai.

Źródło: Cerebras Systems, Reuters