11 GB/s
to wydajność zapisu sekwencyjnego nowego systemu składowania danych w Galerze.
Galera zajmuje dziś 67. miejsce na świecie w rankingu TOP500 (z listopada 2008 r.). Gdy został uruchomiony, znajdował się na 16. miejscu w Europie i 45. na świecie. Ten superkomputer wykorzystuje 5376 rdzeni obliczeniowych i ponad 10 TB pamięci RAM. Jednym ze składników systemów pamięci masowej tego superkomputera jest nowoczesna macierz firmy 3PAR oraz zestaw serwerów składowania danych dostarczonych przez firmę Polcom. Dotychczas eksploatowany serwer plików - udostępniający zasoby za pomocą standardowego protokołu i serwerów NFS - był za mało wydajny do zastosowań wymagających skrajnie szybkich obliczeń.
Serwery NFS potrafiły sprawnie obsłużyć do ok. 100 klientów, a w Galerze jest ich ponad 600. Barierą była niska skalowalność systemu, niewystarczająca do wykonywania niektórych obliczeń. Po zakończonym wdrożeniu, zasoby dyskowe Galery powiększyły się kilkukrotnie. Dotychczas współdzielone zasoby obejmowały tylko 3 TB pojemności. Ze względu na ograniczenia rozmiaru i wydajności, nie było więc możliwe uruchamianie na klastrze niektórych zadań, takich jak obliczenia modelowania matematycznego w astronomii, fizyce i chemii, wymagające dużych zasobów danych. Obecnie takie oprogramowanie już pracuje na tym klastrze.
Nowy system plików
Rozwiązaniem, które umożliwiło sprawne udostępnienie zasobów dla tylu maszyn jest klastrowy system plików Lustre, zaprojektowany do obsługi masowego dostępu z tysięcy węzłów. Ponieważ większość superkomputerów działa w systemie Linux, projekt Lustre koncentruje się właśnie na tym systemie. Oprogramowanie to jest dostępne w modelu open source wraz z bogatą dokumentacją. Dostępne jest także płatne wsparcie techniczne. Świadczy je Sun.
Zmiana systemu plików zwiększyła skalowalność zasobów. Możemy obsłużyć nawet kilka tysięcy węzłów. Krytycznym miejscem systemu Lustre jest zasób metadanych, dlatego do jego obsługi wykorzystujemy bardzo szybką macierz dyskową.
Michał Białoskórski, administrator superkomputera Galera
Istotą Lustre jest oddzielenie danych i obiektów od ich opisu - metadanych. Metadane opisują dany obiekt (plik, katalog), jego położenie, czas utworzenia, ostatni czas dostępu i inne, podobne informacje. Klient klastrowego systemu Lustre poszukuje informacji o obiekcie na podstawie metadanych i przy każdej jego modyfikacji są one aktualizowane. Ze względu na dużą liczbę klientów wykorzystujących ten system plików, serwer metadanych musi obsłużyć olbrzymią ilość zapytań związanych z plikami, gdyż każdy dostęp i zapis znajduje odzwierciedlenie w metadanych danego obiektu. Dzięki rozproszeniu danych, całość może działać bardzo sprawnie. Treść plików jest przechowywana na osobnych serwerach, eliminując tworzenie wąskich gardeł przy pobieraniu i zapisywaniu plików. Podsystem pamięci masowej wykorzystujący klastrowy system plików Lustre składa się z serwera metadanych, który obsługuje przetwarzanie metadanych; 12 serwerów, które składują wszystkie obiekty oraz pojedynczej, wysokowydajnej macierzy, która obsługuje masowy ruch związany z metadanymi i inne zasoby. Do tego systemu łączą się węzły klastra Galera, wyposażone w odpowiednie moduły jądra systemu, przeznaczone do obsługi tego systemu plików.
