Bez komercji, na sterydach

W gdańskim Centrum Informatycznym TASK pracuje jeden z najwydajniejszych w Europie klastrów, zbudowany z serwerów Intela pracujących pod kontrolą systemu operacyjnego Linux.

W gdańskim Centrum Informatycznym TASK pracuje jeden z najwydajniejszych w Europie klastrów, zbudowany z serwerów Intela pracujących pod kontrolą systemu operacyjnego Linux.

Według wstępnych szacunków, klaster, na który składa się 128 procesorów Pentium III Xeon, oferuje wydajność 100-150 Gflopsów (1 Gflops to miliard operacji zmiennoprzecinkowych na sekundę). Jego usługi będą oferowane przede wszystkim naukowcom pracującym na Politechnice Gdańskiej, ale z mocy klastra korzystać będą również inne uczelnie w północnej Polsce.

Potrzeba

Klaster zainstalowany w Centrum Informatycznym Trójmiejskiej Akademickiej Sieci Komputerowej Politechniki Gdańskiej jest niemalże dziesięciokrotnie wydajniejszy od działającego już tam komputera SGI Origin 2000 wyposażonego w 24 procesory. "Oferowana przez serwer SGI moc 15 Gflopsów była już w całości wykorzystana i komputer przez wiele miesięcy pracował praktycznie na pełnych obrotach" - mówi Mścisław Nakonieczny, dyrektor CI TASK. Pomimo pełnego wykorzystania serwera, zapotrzebowanie na moc wśród naukowców prowadzących prace obliczeniowe nie było zaspokojone. "Dużą część prac obliczeniowych przeprowadzaliśmy w centrum przetwarzania Cornell University w Stanach Zjednoczonych" - mówi dr hab. Adam Liwo z Wydzia- łu Chemii Politechniki Gdańskiej. Polscy naukowcy byli tam jednak tylko gośćmi, korzystali wyłącznie z określonego nadmiaru mocy tamtejszej serwerowni.

Centrum Informatyczne od początku roku poszukiwało nowego rozwiązania. Najpierw rozważano instalację klastra składającego się z serwerów z procesorami Alpha, a także testową instalację kilkuserwerowego rozwiązania klastrowego, opartego na maszynach Intela i systemie Linux. "Znaczący postęp w pracach nastąpił, gdy do przedsięwzięcia udało się zachęcić sponsorów: firmę Intel i Wirtualną Polskę" - twierdzi Mścisław Nakonieczny.

Finansowanie

Pozyskanie sponsorów miało jeszcze jeden bardzo istotny dla uczelni aspekt. Nie wymagało tak dużych nakładów finansowych, jak w przypadku dotychczasowych zakupów realizowanych z budżetu Politechniki. Jednocześnie skala przedsięwzięcia, pomysł oparcia go na taniej, a przy tym bardzo popularnej platformie Linux i na mało popularnej w dużych zastosowaniach klastrowych platformie Intela spowodowały pełne zaangażowanie sponsorów - zarówno technologiczne, jak i finansowe. Wirtualna Polska i Intel sfinansowały 45% kosztów instalacji klastra. "Dzięki temu instalacja klastra kosztowała uczelnię ok. 220 tys. USD, tj. ok. 5% kwoty, jaką należałoby w normalnych warunkach zapłacić za komputer o podobnej mocy. Dla porównania: za serwer SGI Origin 2000 oferujący moc 15 Gflopsów, a jednocześnie kupowany taniej, bo z wykorzystaniem używanych części, np. procesorów, zapłaciliśmy w sumie ok. 700 tys. USD" - twierdzi Mścisław Nakonieczny.

Według informacji Intela, jest to największy klaster oparty na serwerach tej firmy w Europie Centralnej i Wschodniej. Na świecie, na serwerach Intela pracuje zaledwie kilka mocniejszych rozwiązań.

Wirtualna Polska zamierza korzystać z mocy klastra. Firma, prowadząca jeden z największych krajowych portali, zamierza też przeprowadzać za pomocą klastra analizy logów odwiedzin serwisu internetowego, który co miesiąc oglądany jest przez ponad milion internautów realizujących 100 mln sesji komunikacyjnych.

Realizacja

Prace projektowe nad konstrukcją klastra rozpoczęły się w maju br. "Analizowaliś-my, jakie serwery wybrać jako podstawę klastra, jaki system połączeniowy i którą wersję Linuxa" - mówi Mścisław Nakonieczny. Nie był to łatwy wybór, zważywszy że na świecie niewiele jest analogicznych rozwiązań, na których można by się wzorować.

Ostatecznie zdecydowano się zastosować czteroprocesorowe serwery Intel SC450NX z procesorami Pentium III Xeon 700 MHz z pamięcią podręczną 1 MB. W każdym serwerze zainstalowanych zostało 512 MB RAM i jeden dysk o pojemności 9 GB. Łącznie w klaster połączono 32 takie jednostki, co umożliwiło stworzenie maszyny wirtualnej, wyposażonej w 128 procesorów oraz 16 GB pamięci operacyjnej. Wybrano serwery czteroprocesorowe, gdyż obecnie dostępna wersja jądra Linux 2.2 nie umożliwia obsługi maszyn wyposażonych w większą liczbę procesorów. Chociaż jądro 2.4 zapowiadane na koniec br. ma oferować już taką możliwość, to nie wiadomo jeszcze jak w praktyce system ten skalować się będzie powyżej 4 procesorów.

Kluczowe dla poprawnego funkcjonowania klastra było wybranie rozwiązania umożliwiającego bezpośrednie, szybkie przekazywanie informacji pomiędzy wszystkimi maszynami działającymi w klastrze. Zespół wdrożeniowy rozważał zastosowanie jednego z trzech produktów oferowanych przez firmy: Merinet, Giganet i Dolphin. Ostatecznie wybrano ostatnie z tych rozwiązań. "Zadecydował przede wszystkim argument, że produkty Dolphin nie wymagają zastosowania zewnętrznych, kosztownych przełączników o dużej przepustowości wykorzystywanych w innych przypadkach do łączenia serwerów" - wyjaśnia Mścisław Nakonieczny.

Urządzenia Dolphin Interconnect są dostarczane w formie specjalnych kart instalowanych w gniazdach PCI serwerów i udostępniających 4 niezależne złącza (kanały komunikacyjne), oferujące przepustowość 400 MB/s każde (łączna przepustowość karty to 1,6 GB/s). Poszczególne serwery łączone są według złożonej topologii w architekturze przypominającej strukturę sieci mesh. Każdy serwer połączony jest z 4 innymi za pośrednictwem karty Dolphin.

Jako system operacyjny wybrano TurboLinux z jądrem w wersji 2.2. Natomiast jako alternatywę dla niego, rozważano zastosowanie Red Hat Linux, ale TurboLinux może się poszczycić obecnie większą liczbą wdrożeń w środowisku klastrowym.

Ostatnim elementem klastra niezbędnym do jego funkcjonowania jest oprogramowanie firmy SCALI, współpracujące z kartami Dolphin i realizujące wymianę zadań pomiędzy poszczególnymi serwerami. Zawiera ono wbudowane mechanizmy kontroli błędów, umożliwiające "omijanie" uszkodzonych maszyn, oraz zaawansowane mechanizmy kolejkowania i nadzorowania wykonywania prac obliczeniowych.

Zarządzanie pracą poszczególnych serwerów wchodzących w skład klastra (chociaż dla administratora widziane są one jako jeden system) możliwe jest za pośrednictwem sieci Fast Ethernet, którą niezależnie od rozwiązania Dolphin połączone są serwery. Jako przełączniki sieciowe tu również zastosowano urządzenia Intela - Express Switch 510T.

Prace w toku

"Tego typu instalacji nigdy nie można uznać za zamkniętą. Docelowo zamierzamy na klastrze przetestować również inne systemy operacyjne - w szczególności nową wersję TurboLinuxa z jądrem 2.4, gdy tylko pojawi się na rynku, a także system Sun Solaris" - twierdzi Mścisław Nakonieczny. Dyrektor CI TASK nie wyklucza również możliwości indywidualnego dostrajania klastra na potrzeby konkretnych obliczeń, ze względu na to, że specyfika zadań fizycznych, chemicznych i biologicznych jest zupełnie inna.

Inwestycja Politechniki Gdańskiej jest ściśle powiązana z "Programem rozwoju infrastruktury informatycznej polskiego środowiska naukowo-badawczego na lata 2001-2005", znanym również pod nazwą Pionier i zatwierdzonym do realizacji przez Komitet Badań Naukowych. Zakłada on m.in. wzrost mocy krajowych akademickich centrów komputerowych do 300 Gflopsów. Klaster zainstalowany w CI TASK realizuje 30-50% tego zapotrzebowania.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200