Dane dla Galerze

Subskrybuj RSS A A A
26 maja 2009
Marcin Marciniak

Najnowszy superkomputer eksploatowany w gdańskim Centrum Informatycznym Trójmiejskiej Akademickiej Sieci Komputerowej jest najszybszym komputerem w Polsce. Niedawno ukończona została modernizacja systemu składowania danych tej maszyny.

11 GB/s
to wydajność zapisu sekwencyjnego nowego systemu składowania danych w Galerze.
Galera zajmuje dziś 67. miejsce na świecie w rankingu TOP500 (z listopada 2008 r.). Gdy został uruchomiony, znajdował się na 16. miejscu w Europie i 45. na świecie. Ten superkomputer wykorzystuje 5376 rdzeni obliczeniowych i ponad 10 TB pamięci RAM. Jednym ze składników systemów pamięci masowej tego superkomputera jest nowoczesna macierz firmy 3PAR oraz zestaw serwerów składowania danych dostarczonych przez firmę Polcom. Dotychczas eksploatowany serwer plików - udostępniający zasoby za pomocą standardowego protokołu i serwerów NFS - był za mało wydajny do zastosowań wymagających skrajnie szybkich obliczeń.

Serwery NFS potrafiły sprawnie obsłużyć do ok. 100 klientów, a w Galerze jest ich ponad 600. Barierą była niska skalowalność systemu, niewystarczająca do wykonywania niektórych obliczeń. Po zakończonym wdrożeniu, zasoby dyskowe Galery powiększyły się kilkukrotnie. Dotychczas współdzielone zasoby obejmowały tylko 3 TB pojemności. Ze względu na ograniczenia rozmiaru i wydajności, nie było więc możliwe uruchamianie na klastrze niektórych zadań, takich jak obliczenia modelowania matematycznego w astronomii, fizyce i chemii, wymagające dużych zasobów danych. Obecnie takie oprogramowanie już pracuje na tym klastrze.

Nowy system plików

Rozwiązaniem, które umożliwiło sprawne udostępnienie zasobów dla tylu maszyn jest klastrowy system plików Lustre, zaprojektowany do obsługi masowego dostępu z tysięcy węzłów. Ponieważ większość superkomputerów działa w systemie Linux, projekt Lustre koncentruje się właśnie na tym systemie. Oprogramowanie to jest dostępne w modelu open source wraz z bogatą dokumentacją. Dostępne jest także płatne wsparcie techniczne. Świadczy je Sun.

Zmiana systemu plików zwiększyła skalowalność zasobów. Możemy obsłużyć nawet kilka tysięcy węzłów. Krytycznym miejscem systemu Lustre jest zasób metadanych, dlatego do jego obsługi wykorzystujemy bardzo szybką macierz dyskową.
Michał Białoskórski, administrator superkomputera Galera
Istotą Lustre jest oddzielenie danych i obiektów od ich opisu - metadanych. Metadane opisują dany obiekt (plik, katalog), jego położenie, czas utworzenia, ostatni czas dostępu i inne, podobne informacje. Klient klastrowego systemu Lustre poszukuje informacji o obiekcie na podstawie metadanych i przy każdej jego modyfikacji są one aktualizowane. Ze względu na dużą liczbę klientów wykorzystujących ten system plików, serwer metadanych musi obsłużyć olbrzymią ilość zapytań związanych z plikami, gdyż każdy dostęp i zapis znajduje odzwierciedlenie w metadanych danego obiektu. Dzięki rozproszeniu danych, całość może działać bardzo sprawnie. Treść plików jest przechowywana na osobnych serwerach, eliminując tworzenie wąskich gardeł przy pobieraniu i zapisywaniu plików. Podsystem pamięci masowej wykorzystujący klastrowy system plików Lustre składa się z serwera metadanych, który obsługuje przetwarzanie metadanych; 12 serwerów, które składują wszystkie obiekty oraz pojedynczej, wysokowydajnej macierzy, która obsługuje masowy ruch związany z metadanymi i inne zasoby. Do tego systemu łączą się węzły klastra Galera, wyposażone w odpowiednie moduły jądra systemu, przeznaczone do obsługi tego systemu plików.

m.computerworld.pl - sprawdź mobilną wersję serwisu Computerworld
w swoim smartfonie.

Oceń artykuł

średnio: 0 liczba ocen: 0
1  2  dalej »
Podziel się |

Komentarze (0)

+Dodaj komentarz

Najpopularniejsze

Najnowsze

Państwo do konsolidacji

Państwo do konsolidacji
Obywatele uważają administrację publiczną za jeden organizm. W rzeczywistości jest to kilka tysięcy oddzielnych struktur, obrosłych biurokratycznymi naroślami. Czy można zracjonalizować działanie państwa? Jak w tym może pomóc informatyka?

Zarządzanie po japońsku

Zarządzanie po japońsku
W praktyce przemysłowej wypracowano szereg skutecznych metod zarządzania. Wiele powstało w Japonii. Dlaczego, mimo ich efektywności, nie zawsze są stosowane w biznesie?

e-Sąd z odsieczą sprawiedliwości

e-Sąd z odsieczą sprawiedliwości
Polski wymiar sprawiedliwości postrzegany jest jako skostniały i opieszały. Tymczasem kolejne e-usługi udostępniane przez Ministerstwo Sprawiedliwości ułatwiają życie przedsiębiorcom i usprawniają pracę sądów.

e-Zdrowie w Polsce i na świecie

e-Zdrowie w Polsce i na świecie
Projekty informatyzacji służby zdrowia realizowane są na świecie z różnym powodzeniem. Skąd Polska mogłaby czerpać wzorce? A może jesteśmy skazani na własne rozwiązania?

Raport Państwo 2.0, czyli nowa wizja informatyzacji państwa

Raport Państwo 2.0, czyli nowa wizja informatyzacji państwa
Michał Boni, minister administracji i cyfryzacji, zaprezentował raport "Polska 2.0. Nowy start dla e-administracji". Przedstawia on informacje na temat stanu realizacji projektów będących w gestii nowo utworzonego ministerstwa oraz prezentuje kierunki dalszych działań związanych z informatyzacją i cyfryzacją administracji publicznej w naszym kraju.

Cyberprzestępcy podążają za użytkownikami

Cyberprzestępcy podążają za użytkownikami
Już dwie na trzy polskie firmy odnotowały ataki lub awarie, które spowodowały spadek produkcji. Co trzecia firma utraciła dane. Liczba takich przypadków będzie rosła, bo hakerzy biorą na cel najbardziej masowe technologie. Szybko reagują też na zmiany w firmowej architekturze.

Jak zaplanować karierę w branży IT

Jak zaplanować karierę w branży IT
Doświadczenia łączone na różnych stanowiskach w firmach o odmiennych profilach są szczególnie cenione przez pracodawców. Dlatego warto głęboko przeanalizować możliwości rozwoju kariery, które obecnie stwarza rynek IT.

Rekomendacje



Serwisy IDG - Warunki obsługi - Kontakt - Redakcja - Regulamin - O nas - Polityka prywatności - Serwis zgodny z ASME
Reklama - Licencjonowanie treści - Prenumerata: Computerworld, Networld, PC World
Computerworld Polska i Computerworld Polska online są znakami towarowymi IDG Poland SA.
 © Copyright 2012 International Data Group Poland S.A. 04-204 Warszawa ul. Jordanowska 12 tel.(+4822)321-78-00 fax(+4822)321-78-88