Powstał jeden z najszybszych na świecie akceleratorów aplikacji AI
-
- Janusz Chustecki,
- 08.12.2023, godz. 13:15
Google wprowadziło w tym tygodniu do oferty zaktualizowaną wersję swojego chmurowego akceleratora Cloud TPU v5e (którego premiera miała miejsce na początku tego roku), nadając mu nazwę Cloud TPU v5p. Są to akceleratory zaprojektowane z myślą o budowaniu i trenowaniu dużych modeli AI typu LLM (Large Language Model).
Jednostki obliczeniowe TPU (Tensor Processing Unit) są dziełem firmy Google i zostały zaprojektowane z myślą o przyspieszaniu procesów związane z uczeniem maszynowym. Usługa Cloud TPU opiera się na własnym frameworku do uczenia maszynowego, który nosi nazwę TensorFlow. Akcelerator Cloud TPU v5p składa się z 8960 układów scalonych, które komunikują się ze sobą za pośrednictwem bardzo szybkich połączeń, zapewniających przepustowość dochodzącą do 4800 Gb/s.
Moduł akceleratora ma wydajność (chodzi o 16-bitowe operacje zmiennoprzecinkowe) ok. 459 TFLOPów, wspieranych przez szybsze połączenie międzysieciowe. Według Google, nowy akcelerator może trenować duże modele językowe (takie jak GPT3-175B), prawie trzy razy razy szybciej niż akcelerator Cloud TPU v5e. Nowy akcelerator TPU v5p nie jest jeszcze ogólnie dostępny i z jego usług może obecnie korzystać wybrana grupa deweloperów, którzy przez najbliższe tygodnie będą go intensywnie testować.
Zobacz również:
