Centrum danych Facebooka
- 11.05.2012, godz. 21:38
Facebook przez open source'owy projekt OCP podzielił się szczegółami rozwiązań zastosowanych w swoim centrum danych.
Wśród nich są specjalne szafy na serwery, zasilacze i obudowy, baterie zamiast typowych UPS...
Zapraszamy
<b>Płyty główne: Intel</b>
OPC prezentuje dwa zestawy specyfikacji płyt głównych dla platformy Intela - obie zoptymalizowane pod kątem zasilania i już na etapie projektowania pozbawione pazernych na energię funkcji. Pierwsza wersja [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/Server-Intel-Motherboard-Specifications-v1.pdf" target="new"><b>PDF</b></a>] to dwuprocesorowa (Intel Xeon 5500 bądź Intel Xeon 5600) płyta z 18 gniazdami DIMM. Druga specyfikacja [<a href="http://opencompute.org/wp/wp-content/uploads/2012/05/Open_Compute_Project_Intel_Motherboard_v2.0.pdf" target="new"><b>PDF</b></a>] ) opisuje wąskie dwuprocesorowe płyty, umieszczane po dwie w kasecie co pozwala podwoić gęstość mocy obliczeniowej. Płyty wyposażane są w nowej generacji Xeony E5-2600.
Aby zaoszczędzić energię, wszystkie nieużywane elementy (jak PCIe, PCI, porty USB, czy SATA/SAS) są wyłączane. Również BIOS jest tak dostrojony by zminimalizować zużycie energii. Specyfikacja przewiduje też ustawienia BIOSu dostosowujące prędkość komponentów i statystyki zasilania. Pięć czujników monitoruje temperatury CPU, układu PCH, wlot i wylot powietrza. Automatyczna regulacja prędkości pozwala na zapewnienie efektywniejszego chlodzenia.
<b>Płyty główne: AMD</b>
Podobnie jak dla platformy Intel i dla serwerów opartych na AMD przewidziane są dwie specyfikacje. Pierwsza [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/Server-AMD-Motherboard-Specifications-v1.pdf" target="new"><b>PDF</b></a>] z nich opisuje dwugniazdową płytę serii AMD Opteron 6100 z 24 gniazdami DIMM. Druga [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/Open_Compute_Project_AMD_Motherboard_v2.0_YGM.pdf" target="new"><b>PDF</b></a>] specyfikacja dla tej platformy podobnie jak 2 wersja dla Intela także pozwala na podwojenie gęstości mocy, w tym przypadku obsługiwane są po dwa procesory AMD G34 Magny-Cours bądź Interlagos na każdą z płyt.
Specyfikacje dla AMD i Intela są dość podobne. Wspólnymi cechami są np.ustawienia BIOS dla optymalizacji zasilania czy rozlokowanie czujników temperatury. Obie platformy komunikują się z modulem zasilania w celu uniknięcia jednoczesnego startu obu płyt głównych kasety. Podzespół VRM (Voltage Regulator Module) jest zoptymalizowany aby zwiększyć efektywność przetwarzania.
<b>Zasilacze o sprawności 94,5%</b>
Opisane w zasilacze 450W [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/Server-Power-Supply-Specifications.pdf" target="new">PDF</a>] zaprojektowano tak by wyeliminować energię traconą zwykle podczas konwersji z prądu zmiennego na stały. Dostarczają tylko jedno napięcie - 12,5V, mają swój własny system chłodzenia i dwa gniazda wejściowe. Pierwsze na napięcie zmienne 277V (działa na wyższych poziomach napięcia niż tradycyjne systemy 208V) Drugie gniazdo przeznaczone jest do podłączenia prądu stałego 48V, które jest wykorzystywane w razie awarii zasilania. Zasilacze zapewniają sprawność sięgającą 94,5%.
<b>Proste, solidne obudowy</b>
Opisane w projekcie obudowy serwerowe [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/Server-Chassis-Specifications.pdf" target="new">PDF</a>] nie mają żadnych ozdób, oferują łatwy dostęp do zawartości, mieszczą do dwóch specjalnych płyt głównych i moduł zasilania. Do montażu i demontażu elementów nie będzie potrzebny śrubokręt a dyski i wentylatory są wsuwane na szynach. Obudowy mają wysokość 1,5 U co pozwala na korzystanie z wyższych radiatorów, które lepiej odprowadzają ciepło od komponentów. Można także dzięki temu stosować większe, niskoobrotowe wentylatory, które zużywają mniej energii. Serwer opisany w OCP jest lżejszy prawie o 3 kg od standardowego serwera 1U i (wg Amira Michaela - z OCP) można go zmontować przy pomocy gołych rąk w mniej niż 9 min.
<b>Potrójne szafy z zatrzaskami na serwery</b>
Serwery OCP są przeznaczone do montażu w szafach określanych przez Facebooka mianem "triplet rack" [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/DataCenter-Triplet-Racks-Specifications.pdf" target="new">PDF</a>], na które składają się trzy sąsiadujęce kolumny wosokości 42U. Każda trójka ma na górze dwa przełączniki, a każda z kolumn mieści 30 serwerów, cały zestaw mieści więc 90 serwerów.
Aby nie trwonić pieniędzy na nieużywane porty, liczba serwerów w szafach jest ściśle dopasowana do liczby portów w przełącznikach. Podobnie jak serwery, szafy również zostały zaprojektowane tak by maksymalnie ułatwić dostęp serwisowy.
Zamiast na typowe szyny - serwery wsuwa się na wybite w blasze półki, zaś przed wysunięciem chronią je zatrzaski.
<b>Szafy bateryjne zabezpieczają serwery przed brakiem zasilania</b>
Wolno stojące szafy bateryjne [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/DataCenter-Battery-Cabinet-Specifications.pdf" target="new">PDF</a>] zapewniają zapasowe zasilanie prądem stałym serwerów w przypadku przerwy w zasilaniu prądem zmiennym. Jedna szafa zawiera układ prostowniczy do ładowania baterii oraz system monitorujący stan baterii i może zasilać przez nieskomplikowany system kabli dwie szafy "triplet rack" z serwerami. Kiedy trzeba wymienić baterię, system monitorujący wysyła przez sieć komunikat, na który reagują technicy. Jak twierdzi przedstawiciel ODC, wykorzystany w centrum danych system bateryjny ma sprawność 99,5%, podczas gdy tradycyjne systemy UPS - od 90 do 95%.
<b>System elektryczny bez strat konwersji prądu</b>
W swoim centrum danych Facebook wdrożył wysokowydajny system elektryczny OCP [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/DataCenter-Electrical-Specifications.pdf" target="new">PDF</a>]. Zintegrowano w nim system zasilania awaryjnego UPS 48V DC z systemem zasilania serwerów 277V AC. Zastosowano nowatorskie podejście do dystrybucji prądu z lokalnej podstacji, polegające na eliminowaniu niepotrzebnych strat na transformacji i konwersji prądu. Typowe straty w wyniku konwersji wynoszą od 21 do 27%, a w centrum danych w Prineville ograniczono je do 7,5%.
Pozostałe elementy systemu zasilania to m.in. zapasowe generatory dieslowskie, monitoring zasilaczy awaryjnych, szafy bateryjne dla serwerów i oszczędny system oświetlenia oparty na diodach LED. Z założenia system mają cechować lepsze parametry niż te określone przez oficjalne organizacje branżowe (takie jak IEEE).
<b>System chłodzenia przekracza granice</b>
Centrum danych Facebooka w Prineville służy także jako demo wysokowydajnego rozwiązania chłodzenia OCP [<a href="http://opencompute.org/wp/wp-content/uploads/2011/07/DataCenter-Mechanical-Specifications.pdf" target="new">PDF</a>], wykorzystującego oszczędny system oparty na odparowywaniu wody. Nie ma żadnych agregatów ani wież chłodniczych. Jak podaje Facebook, rozwiązanie pozwala na dystrybucję powietrza bez użycia kanałów i może działać w zakresach temperatur i wilgotności, które przekraczają granice określone przez ASHRAE (Amerykańskie Stowarzyszenie Inżynierów Ogrzewnictwa, Chłodnictwa, Wentylacji i Klimatyzacji).
Computerworld dostarcza najświeższe informacje, opinie, prognozy i analizy z branży IT w Polsce i na świecie.
W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]