Superkomputer w służbie nauki i biznesu

Computerworld W ramach PRACE-LAB ( Współpraca w zakresie zaawansowanych obliczeń w Europie), projektu dla środowiska naukowego oraz biznesowego dostarczane są zaawansowane usługi obliczeniowe oraz danych. Ten projekt to najnowocześniejsza i największa infrastruktura obliczeniowa w Polsce. Jak działa w praktyce? Rozmawiamy z Norbertem Meyerem, Kierownikiem Pionu Technologii Przetwarzania Danych i jednocześnie koordynatorem projektu, Poznańskie Centrum Superkomputerowo-Sieciowe afiliowane przy Instytucie Chemii Bioorganicznej Polskiej Akademii Nauk.

Na czym polega działalność PCSS?

Jako Poznańskie Centrum Superkomputerowo-Sieciowe dostarczamy infrastrukturę i usługi pod badania - to nasz podstawowy obszar działalności. Realizujemy także wiele prac badawczo-rozwojowych oraz wdrożeniowych w ramach krajowych i międzynarodowych projektów, współpracujemy z przemysłem. Korzystamy ze środków unijnych oraz krajowych, które pozyskujemy w ramach konkursów.

Ponieważ wspiera nas Ministerstwo Edukacji i Nauki, mamy obowiązek udostępnienia e-Infrastruktury na rzecz uczelni, instytutów badawczych oraz instytutów Polskiej Akademii Nauk. Uczelnie, które w ramach grantów naukowych wymagają dostępu do zasobów obliczeniowych otrzymują je od nas już od ponad 20 lat.

W ostatnim czasie powstał pomysł, aby przemysł i nauka wykorzystywały tę samą infrastrukturę i duży nacisk jest kładziony na udostępnianie naszych usług dla gospodarki.

W jaki sposób funkcjonuje projekt PRACE-LAB?

Projekt PRACE-LAB to projekt krajowy, realizowany przez 8 partnerów, a koordynowany przez Poznańskie Centrum Superkomputerowo-Sieciowe współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Działania 4.2 Programu Operacyjnego Inteligentny Rozwój 2014-2020.

Celem projektu jest budowa infrastruktury obliczeniowej oraz usług danych. Infrastruktura rozmieszczona została w 8 lokalizacjach – największych ośrodkach akademickich w Polsce, dostarczona przez firmę Huawei. Dzięki projektowi powstała najnowocześniejsza i największa infrastruktura obliczeniowa w kraju, o najwyższym standardzie niezawodności. Użytkownicy mogą przeprowadzać obliczenia na podstawie przetwarzania wielkich zbiorów danych oraz prace w gotowych środowiskach w ramach wirtualnych laboratoriów. Huawei jest wiodącym dostawcą rozwiązań technologii informacyjno-komunikacyjnych, którego systemy obliczeniowe, telekomunikacyjne i mobilne są dostarczane do ponad 170 krajów na świecie. Wybór przez taki koncern PCSS jako partnera w pracach badawczo-rozwojowych stanowi wyraz uznania dla dotychczasowych osiągnieć Poznańskiego Centrum Superkomputerowo-Sieciowego w zakresie najnowszych technologii informacyjno-komunikacyjnych.

W ramach budowy infrastruktury w PRACE-LAB na przełomie 2020/21 wyposażone zostały 4 centra obliczeniowe w Poznaniu, Wrocławiu, Krakowie i Gdańsku. Dodatkowo doszły dodatkowe lokalizacje danych w Częstochowie, (patrz ramka). Centra dostarczają infrastrukturę umożliwiającą przetwarzanie danych. W ramach projektu udostępniane są także wyspecjalizowane usługi, tworzące wsparcie m.in. dla aplikacji wykorzystujących sztuczną inteligencję, czy dla przechowywania danych w chmurze.

Celem bezpośrednim jest budowa szeroko dostępnej infrastruktury obliczeniowej HPC (High Performance Computing) złożonej z wysokowydajnych serwerów obliczeniowych, wyspecjalizowanych jednostek przetwarzania i elastycznych systemów zarządzania danymi. Jednocześnie, dzięki szybkiemu dostępowi do sieci światłowodowych Pionier oraz sieci miejskich, użytkownicy wykorzystują wszystkie dostarczone usługi bez utraty jakości.

Zasoby będą wykorzystywane także w gospodarce. Tu rośnie zainteresowanie chmurą obliczeniową i danych, a zasoby dostępne dzięki projektowi można wykorzystać do obliczeń równoległych. Jedną z ważniejszych zalet dla klientów biznesowych są rozmiary zasobów, ich skalowalność oraz gwarancja niezawodności. Korzystają z tego m.in. firmy z branży finansowej, które mają specyficzne wymagania, potrzebują sprzętu odpowiedniej klasy i dużych mocy obliczeniowych.

W sferze nauki mamy całe spektrum dziedzin, które chcą wykorzystywać zasoby PRACE-LABu. Z punktu widzenia Centrum ważne, aby komputery dawały możliwość uruchomienia odpowiednich aplikacji i były efektywne w wielu obszarach z uwagi na różnorodność zastosowań superkomputerów.

Powstała w ramach projektu infrastruktura przetwarzania danych charakteryzuje się niespotykaną dotąd w stali kraju mocą obliczeniową na poziomie 16 PFLOPS, z czego 1+ PFLOPS realizowany jest przez akceleratory GPU. Dowodem na to jest oddanie w 2021 roku czterech superkomputerów, z czego trzy - ALTAIR (PCSS), Ares (Cyfronet) oraz Tryton Plus (CI TASK) - znalazły się na tegorocznej liście TOP500, prezentującej najszybsze superkomputery świata. Komputery te również znalazły się na liście Green500, gdzie z kolei liczona jest efektywność energetyczna (najmniejszy pobór mocy)

W ramach projektu działa superkomputer Altair, zbudowany na sprzęcie Huawei– jaka jest historia tego projektu?

Wybór partnera technologicznego odbył się w ramach przetargu, a umowa została podpisana w sierpniu 2020 r. z firmą Integrale IT, głównym wykonawcą. Przez blisko rok instalowaliśmy infrastrukturę w 8 lokalizacjach, połączonych siecią krajową Pionier. Było to skomplikowane przedsięwzięcie pod względem logistycznym, dodatkowo spotęgowane oczywiście pandemią Covid-19.

W tym roku infrastruktura w jednostkach została połączona światłowodowo, osiągając gotowość operacyjną. Poznań udostępnił część swoich zasobów już w grudniu 2020, później dołączali pozostali partnerzy. System, który jest u nas to największy superkomputer w Polsce, jednocześnie zamieszczony został na liście TOP500 najszybszych komputerów świata. Jest to ewenement.

Jest także dodatkowy plus, związany z dostosowaniem do regulacji prawnych – dane zlokalizowane są w Polsce, co ma znaczenie dla wielu organizacji m.in. z sektora administracji publicznej, korzystających z naszych zasobów.

Czym jest superkomputer Altair?

Mówiąc w skrócie, klaster Altair to superkomputer zainstalowany w Poznaniu, składa się z ponad 1000 mniejszych komputerów – węzłów roboczych połączonych szybką siecią InfiniBand. Podobnie jest w innych lokalizacjach, (tyle, że z mniejszą liczbą elementów). Cztery systemy HPC dostarczone do 4 miast połączone są w jedną całość, którą oddajemy do dyspozycji użytkownikom ze sfery nauki i gospodarki. Wykorzystujemy krajową sieć światłowodową tworzącą połączenia szkieletowe pomiędzy centrami komputerowymi o szybkości 100/400 Gb/s, jedna z największych sieci w Europie.

Ideą HPC jest uruchamianie aplikacji na wielu węzłach w trybie równoległym, dzięki czemu zyskuje się na czasie, zwielokrotniając i skracając czas obliczeń w porównaniu do tych samych obliczeń na pojedynczym węźle roboczym. Jednak komunikacja między procesami, które uczestniczą w obliczeniach musi przebiegać szybko, z małym opóźnieniem. W przypadku Altair opóźnienia między węzłami są małe dzięki infrastrukturze opartej na InifiniBand. Nie sprawdziłaby się tutaj typowa sieć komunikacyjna, którą mamy w chmurze, bo opóźnienia są o rząd wielkości większe.

Bardzo ważna jest także niezawodność, zwłaszcza w świecie biznesu, gdzie działania operacyjne oparte na IT działają nieprzerwanie, a od ich dostępności zależy funkcjonowanie firmy. Dlatego też wdrożyliśmy w PCSS dodatkowe procedury m.in.: kontrola jakości i zarządzania ISO 9001 i bezpieczeństwa ISO 27001.

W dużych ośrodkach akademickich działają sieci światłowodowe miejskie, z których mogą korzystać użytkownicy. Gdy wprowadzamy usługi chmurowe istotny jest element ostatniej mili – możliwość transparentnego wykorzystania zasobów z odpowiednią szybkością. Jesteśmy w stanie dostarczyć do klienta końcowego usługę o najwyższej jakości właśnie dzięki korzystaniu ze światłowodów.

Jakie mają Państwo dalsze plany rozwoju projektu PRACE-LAB?

PRACE-LAB to pierwsza edycja projektu, etap wyposażenia w tzw. moc konwencjonalną - procesory ogólnego przeznaczenia dla wielu dziedzin.

Teraz realizujemy kolejną edycję – to już pewnego rodzaju specjalizacja, czyli dodanie do superkomputera Altair drugiej maszyny, która będzie kilka razy większa i specjalizowana, z akceleratorami graficznymi. Umożliwi m.in. wykorzystanie sztucznej inteligencji. Aplikacje, które posiadają taką specyfikę będą działać dużo szybciej.

Te możliwości pozwalają wykorzystać m.in. treningi na sieciach neuronowych. To np. uczenie danej aplikacji wnioskowania dla określonego modelu, w którym aplikacja później się znajdzie. Może to być rozpoznawanie obrazu w sieciach przemysłowych i uczenie aplikacji zachowań czy statystyki danych, które są generowane przez tego typu kamery. W efekcie końcowym pozwala to na rozpoznawanie twarzy czy przedmiotów, numerów tablic rejestracyjnych czy śledzenie pojazdu.

Mamy także plany związane z rozbudową nowych usług danych, tworzenia rozproszonych repozytoriów danych, chmury danych z gwarancją umieszczenia ich w Polsce, co jest elementem krytycznym dla wielu jednostek ze względów legislacyjnych.

Jednostki uczestniczące w projekcie PRACE-LAB

  • Instytut Chemii Bioorganicznej Polskiej Akademii Nauk - Poznańskie Centrum Superkomputerowo-Sieciowe (lider projektu)
  • Akademickie Centrum Komputerowe CYFRONET AGH
  • Politechnika Białostocka
  • Politechnika Częstochowska
  • Politechnika Gdańska - CI TASK
  • Politechnika Łódzka
  • Politechnika Świętokrzyska
  • Politechnika Wrocławska – Wrocławskie Centrum Sieciowo-Superkomputerowe