W odpowiedzi na rosnące zapotrzebowanie na generatywne aplikacje sztucznej inteligencji i duże modele językowe (LLM), Oracle Cloud Infrastructure (OCI) udostępniła procesory graficzne Nvidia H100 Tensor Core na platformie OCI Compute. Wkrótce na platformie pojawią się również procesory graficzne Nvidia L40S.

Oracle twierdzi, że OCI Compute oferuje teraz instancje bare-metal z procesorami graficznymi Nvidia H100, zasilanymi przez architekturę Nvidia Hopper dla sztucznej inteligencji, umożliwiając w ten sposób „skok wydajności o rząd wielkości” dla wielkoskalowej sztucznej inteligencji i wysokowydajnych aplikacji obliczeniowych. Układ GPU Nvidia H100 został zaprojektowany do zadań obliczeniowych wymagających dużej ilości zasobów, w tym do trenowania modeli LLM.

Zobacz również:

• Akcje Intel spadają - winna rosnąca konkurencja w AI
• Platforma Red Hat w chmurze Oracle

Organizacje korzystające z procesorów graficznych Nvidia H100 uzyskują nawet 30-krotny wzrost wydajności wnioskowania AI i 4-krotny wzrost wydajności szkolenia AI w porównaniu z procesorami graficznymi Nvidia A100 Tensor Core, twierdzi Oracle. Kształt BM.GPU H100.8 OCI Compute obejmuje osiem procesorów graficznych Nvidia H100, każdy z 80 GB pamięci GPU HBM2.

Instancje bare-metal OCI Compute z procesorami graficznymi Nvidia L40S będą dostępne w ramach wczesnego dostępu jeszcze w tym roku, a ich ogólna dostępność rozpocznie się na początku 2024 roku. Układy GPU Nvidia L40S, oparte na architekturze Nvidia Ada Lovelace dla grafiki, sztucznej inteligencji i gier, służą jako uniwersalne GPU dla centrów danych, zapewniając akcelerację wielu obciążeń dla wnioskowania i szkolenia LLM, obliczeń wizualnych i aplikacji wideo.

Źródło: Infoworld