WYMAGANIA STAWIANE UKŁADOM CHŁODZENIA

Urządzenia i infrastruktura teleinformatyczna instalowana obecnie w Centrach Przetwarzania Danych lub serwerowniach różni się znacząco od tej stosowanej jeszcze kilka lat temu. W coraz większym stopniu stosowane są bowiem serwery kasetowe, przełączniki sieciowe i inne urządzenia teleinformatyczne, które zajmują coraz mniejszą przestrzeń. W efekcie sprzęt, który niegdyś zajmował całe pomieszczenie teraz może być zawarty nawet w pojedynczym racku szafy, co oczywiście przyczynia się do znacznego zwiększenia koncentracji pobieranej energii i wydzielanego ciepła. Dla przykładu serwery typu blade wymagają przepływu chłodnego powietrza o wartości około dziesięciokrotnie większej niż dla rozwiązań typowych co ogranicza średnią moc zainstalowanych urządzeń w pojedynczej szafie do poziomu poniżej 2 kW. Jeśli urządzenia, nie otrzymają odpowiedniej ilości chłodnego powietrza będzie powodowało to zassanie podgrzanego powietrza wylotowego, co oczywiście w konsekwencji może doprowadzić do jego przegrzania i uszkodzenia. Jeszcze do niedawna wielkością służącą do określenia mocy chłodniczej systemów klimatyzacji dla serwerowni była głównie gęstość mocy przypadająca na jednostkę powierzchni podawana w watach na m2 powierzchni pomieszczenia (zarówno powierzchni zajmowanej przez szafy serwerowe jak i przestrzeni komunikacyjno-serwisową wokół nich). W chwili obecnej przy określeniu ilości ciepła jakie jest konieczne do wyprowadzenia z pomieszczeń serwerowni stosuje się dwa parametry, - gęstość mocy na jednostkę powierzchni [W/m2] oraz wartość mocy zainstalowanej w pojedynczej szafie serwerowej [W].

Rosnące zagęszczenie urządzeń, które są nierównomiernie rozłożone w pomieszczeniu serwerowni może być przyczyną powstawania obszarów, w których gęstość mocy a za tym temperatura może wyraźnie wzrastać. Wszystko to sprawia, że znacznemu zwiększeniu ulegają wymagania stawiane systemom chłodzenia, które utrzymując odpowiednie warunki środowiskowe, zapewnia stabilną pracę systemu teleinformatycznego. Co prawda w najnowszej wersji „Wytycznych termicznych dla środowisk przetwarzania danych” („Thermal Guidelines for Data Processing Environments”) opracowanych przez organizacje The American Society of Heating, Refrigeration and Air Conditioning Engineers (ASHRAE) TC 9.9 - obniżono wymagania dotyczące dopuszczalnych temperatur do poziomu 27 o C wcześniej było 25 o C (a według Intela sprzedawane na rynku serwery mogą pracować w temperaturach sięgających nawet do 35 o C bez negatywnego wpływu na ich działanie). To jednak mimo wyższej temperatury pracy najnowszych urządzeń to postępujący wzrost zagęszczenia urządzeń teleinformatycznych prowadzi do takiej koncentracji ilości wydzielanego ciepła, że skutkuje to koniecznością zwiększania mocy funkcjonujących systemów chłodzących oraz stosowania nowych specjalistycznych rozwiązań. Stosowane do tej pory typowe rozwiązania chłodzące nie są w stanie sprostać wysokiemu poziomowi obciążenia cieplnego, ale są również mało efektywne. Obecnie coraz częściej korzysta się więc z systemów chłodzenia dedykowanych dla systemów teleinformatycznych CRAC (ang. Computer Room Air Conditioner), które są w stanie utrzymywać nie tylko temperaturę, ale również wilgotność na poziomach zgodnych ze współczesnymi wymaganiami.

Niewłaściwe parametry środowiskowe pomieszczenia serwerowni.

Nieodpowiedni poziom temperatury.

Zbyt wysoka lub niska temperatura otoczenia (bądź jej nagłe wahania) mogą być przyczyną nieprawidłowego funkcjonowania lub uszkodzenia urządzeń teleinformatycznych.

Zbyt wysoka wilgotność.

Wysoka wilgotność może doprowadzić do korozji, migracji jonów metali powodując awarie oraz problemy z układami mechanicznymi drukarek.

Zbyt niska wilgotność.

Niska wilgotność znacząco zwiększa możliwość wystąpienia mikrowyładowań elektrostatycznych, które mogą być przyczyną zniszczenia urządzeń teleinformatycznych.

SYSTEMY CHŁODZENIA URZĄDZEŃ O WYSOKIEJ GĘSTOŚCI MOCY

Wymogi stawiane przed współczesnymi układami chłodzenia systemów teleinformatycznych, szczególnie wysokiej gęstości, wymuszają stosowanie nowych technologii budowy i konstrukcji urządzeń chłodzących. W obiektach o niedużej ilości urządzeń klimatyzacyjnych zaleca się stosowanie urządzeń autonomicznych z układem freonowym typu "compact" (wewnętrzny lub zewnętrzny), oraz typu "split" (jednostka wewnętrzna zlokalizowana bezpośrednio w pomieszczeniu, a także skraplacz - agregat sprężarkowo-skraplający na ścianie zewnętrznej, dachu lub terenie). Chłodzenie skraplacza zapewnia układ stanowiący odrębną instalację w budynku z tzw. „dry coolerami” montowanymi najczęściej na dachu. Często stosowanym rozwiązaniem dla systemów chłodzenia szaf o dużej gęstości upakowania jest zastosowanie instalacji „wody lodowej”, która jest dostarczana z centralnej chłodnicy do zespołu urządzeń w pomieszczeniu ze sprzętem elektronicznym. Chłodzenie wodą odbywa się przy wykorzystaniu wymienników (woda - powietrze z zamkniętym obiegiem wody) do których jest dostarczana tzw. „woda lodowa”, a bezpośrednim czynnikiem chłodzącym szafę jest powietrze. Wewnętrzne klimatyzatory zawierają układy regulacji, wężownicę wody schłodzonej, zawór sterowania „wodą lodową”, dmuchawy, filtry, nawilżacze i grzejniki. Takie rozwiązania stosuje się dla szaf, w których moc przekracza 10 kW dla pojedynczej szafy lub dla systemu szaf gdzie moc wyższych niż 6 kW na szafę.

Współcześnie stosuje się głównie trzy modele chłodzenia w centrum przetwarzania danych tj.:

chłodzenie całego pomieszczenia – określane terminem InRoom

chłodzenie rzędowe z wykorzystaniem klimatyzatorów ustawionych w rzędach z szafami IT – określane terminem InRow

chłodzenie pojedynczych lub podwójnych szaf IT w układzie zamkniętym określane terminem InRack.

Do chłodzenia serwerowni wyposażonych w urządzenia wysokiej gęstości najczęściej stosuje się model rzędowy (InRow), a dla najbardziej wymagający aplikacji bezpośrednie chłodzenie szaf (InRack), które może jest wykorzystywane dla największych gęstości mocy do 30kW/rack a nawet więcej. Chłodzenia całego pomieszczenia jest natomiast zwykle stosowane dla pomieszczeń w których instalowane są zasilacze UPS wyposażone w baterie zbudowane z ogniw chemicznych dla których temperatura wyższa od poziomu 20-22°C przyczynia się do wydatnego skrócenia żywotności.

MODERNIZACJA CENTRUM PRZETWARZANIA DANYCH – STREFA WYSOKIEJ GĘSTOŚCI

W przypadku konieczności modernizacji centrum przetwarzania danych, jeszcze przed wdrożeniem nowych serwerów kasetowych powinna być dokonana analiza istniejących warunków pod kątem przyszłych wymagań dla systemów chłodzenia i zasilania. Jeśli liczba serwerów typu blade nie przekracza znaczącej ilości np. jednej szafy to taka analiza może być szacunkowa, lecz w przypadku większego udziału serwerów kasetowych w całkowitym obciążeniu serwerowni to powinna być wykonana pełne badanie. Analizowane powinny być dane dotyczące mocy systemów zasilania i chłodzenia, w tym moc znamionowa oraz zainstalowana moc rzeczywista. Ponadto należy ocenić istniejące warunki obciążenia w celu ustalenia wielkości i fizycznego rozkładu obciążeń. Przede wszystkim należy zweryfikować zdolność systemów dystrybucji zasilania i chłodzenia do zapewnienia wymaganych parametrów dla urządzeń o wysokiej gęstości. W przypadku, gdy urządzenia o wysokiej gęstości stanowią niewielki procent całkowitej mocy zainstalowanej w CPD można je rozmieścić w pomieszczeniu w taki sposób, aby utrzymać odpowiednio niską wartość obciążenia na jednostkę powierzchni. Jeśli urządzeń o wysokiej gęstości jest więcej i mają być umieszczone razem z zabudowanym wcześniej sprzętem to w wielu sytuacjach zasadne jest utworzenie wewnątrz centrum danych specjalnej strefy. Konieczność stworzenia takiej strefy, szczególnie dla istniejących serwerowni, jest zwykle efektem wirtualizacji która skutkuje koniecznością wdrażania nowych klastrów serwerów kasetowych (blade). Strefa o wysokiej koncentracji mocy to wydzielony obszar wewnątrz serwerowni przeznaczony do instalowania urządzeń o wysokiej gęstości. Jest ona zazwyczaj wyposażana w dedykowany system chłodzący, dzięki czemu jest „termicznie neutralna” w stosunku do pozostałej części serwerowni co znaczy, iż nie potrzebuje korzystania z dodatkowego chłodzenia. Strefa ta powinna być również tak zaprojektowana, aby nie powodować znaczących zakłóceń dla istniejącego przepływu powietrza w całym pomieszczeniu. Obszar o wysokiej gęstości powinien być nie tylko chłodzony lecz i zarządzany niezależnie od pozostałej części pomieszczenia, gdyż znacznie upraszcza ono wdrożenie oraz minimalizuje ryzyko zakłóceń dla istniejącej wcześniej infrastruktury.

CHŁODZENIE RZĘDOWE W UKŁADZIE „STREFA GORĄCA – STREFA ZIMNA”

W ostatnich latach coraz częściej stosuje się zamykanie strefy chłodnej lub ciepłej pomiędzy szafami ustawianymi przodami lub tyłami w rzędach tworząc na przemian strefy (korytarze) zimne tzw. Cold Aisle lub gorące tzw. Hot Aisle. Znacznie podnosi to efektywność wykorzystania chłodu w serwerowni oraz wpływa na mniejsze zużycie energii elektrycznej przez klimatyzatory oraz ogranicza zjawisko mieszania się powietrza zimnego z powrotnym (ogrzanym). Główną ideą metody „chłodzenia rzędowego” jest umiejscowienie kierowanych nawiewów bezpośrednio w pobliżu rzędów szaf. W przeciwieństwie do schładzania całego pomieszczenia chłodzenie zorientowane na rzędy charakteryzuje się znacznie krótszymi drogami przepływu powietrza do źródeł ciepła co zwiększą wydajność i sprawność systemu powodując:

Ograniczenie zjawiska mieszania zimnego powietrza z gorącym powietrzem powrotnym

Efektywniejsze chłodzenie urządzeń (zwiększona temperatura powietrza powrotnego)

Chłodzenie zorientowane na poszczególne urządzenia.

Do innych istotnych zalet tego typu chłodzenia można zaliczyć takie cechy jak modularność i skalowalność. Przy stosowaniu systemu chłodzenia rzędowego wyposażonego w wentylatory o zmiennej prędkości obrotowej pozwalające dostosować wydajność do aktualnego obciążenia, dzięki czemu zwiększeniu ulega sprawność. Chłodzenie zorientowane na rzędy jest szczególnie często wykorzystywane w przypadku konieczności modernizacji istniejącej infrastruktury centrów danych po przeprowadzeniu procesu wirtualizacji i jest zalecane do zastosowania dla chłodzenia stref o wysokiej gęstości. Systemy odprowadzania ciepła ze stref gorących i zimnych powinny cechować się:

możliwością zasilania „wodą lodową” z wykorzystaniem technologii free-coolingu bez konieczności wprowadzania wody do pomieszczenia serwerowni

zdolnościami adaptacyjnymi (co jest niezwykle istotne w przypadku etapowego modelu realizacji prac lub modernizacji już istniejących instalacji)

możliwościami wymiany jednostek i rozbudowy systemu bez potrzeby wyłączania systemu

niewielkim obciążeniem konstrukcji serwerowni

skraplacze powinny mieć możliwość chłodzenia zarówno powietrzem jak i wodą.

Określenie średniej gęstości mocy dla rzędu szaf lub wydzielonej strefy wysokiej gęstości mocy powinno być efektem analizy dokonanej przez doświadczonego projektanta. Dostępne obecnie wytyczne dotyczące projektowania systemów chłodzenia serwerowni w których planowane jest użycie np. serwerów typu blade, opierają się na wstępnym określeniu ilości szaf teleinformatycznych o niskim i średnim obciążeniu (np. do 6 kW) oraz podaniu ilości szaf o wysokim-obciążeniu (np. do 25 kW).

Efektywne chłodzenie.

EFEKTYWNE CHŁODZENIE

Aby poprawić wydajność energetyczną centrów przetwarzania danych, warto instalować urządzenia monitorujące wartość temperatury, dzięki którym można kierować strumienie chłodnego powietrza tam, gdzie w danym momencie jest najwyższa temperatura. W systemach chłodzenia duże oszczędności można uzyskać dzięki wykorzystaniu naturalnej cyrkulacji powietrza oraz zapewnienia izolacji od zewnętrznych źródeł ciepłą. Ze względu na wyższą dopuszczalną temperaturę pracy najnowszych urządzeń teleinformatycznych warto rozważyć możliwość podniesienia temperatury w pomieszczeniu, gdyż w prosty sposób bez konieczności dodatkowych inwestycji można uzyskać znaczne oszczędności. Niektórzy specjaliści podkreślają jednak, że choć idea ta jest bardzo prosta to przy jej stosowaniu należy zwrócić szczególną uwagę czy urządzenia starszego typu będą pracować bezawaryjnie przy wyższej temperaturze. W celu uzyskania oszczędności związanych z eksploatacją systemu chłodzenia oraz zwiększenia jego efektywności należy podjąć szereg działań takich jak:

Redukcja marnotrawstwa energii poprzez:

usprawnienie bariery pary — niepotrzebne nawilżanie / odwilżanie

zmniejszenie przyrostu ciepła wskutek padania promieni słonecznych

uszczelnienie kanałów, podłóg i sufitów, aby chłodne powietrze nie „uciekało”

Optymalizacja przepływu powietrza poprzez:

zmniejszenie przeszkód przepływu powietrza pod podłogą

ustawienie szaf w konfiguracji rzędowej

zmniejszenie recyrkulacji powietrza poprzez stosowanie płyt zaślepiających dla niezbudowanych obszarów szafy

umieszczenie urządzenia chłodniczego na końcu strefy gorącego powietrza (Hot-Aisle)

zapewnienie cyrkulacji gorącego powietrza do urządzenia chłodniczego poprzez kanały

Optymalizacja ustawień sytemu chłodzenia poprzez:

właściwe ustawienie temperatury strefy chłodnego powietrza (Cold Aisle)

regulacje nastawy temperatury pomieszczenia

podniesienie temperatury „wody lodowej” powyżej 7°C

USTAWIANIE SZAF W POMIESZCZENIU SERWEROWN

Właściwe rozmieszczenie urządzeń w pomieszczeniu serwerowni jest niezwykle ważne zarówno z powodu optymalnego wykorzystania powierzchni jak i przyszłej sprawności energetycznej. Planowanie rozmieszczenia urządzeń (szaf ze sprzętem), powinno być konsekwencją analizy wielu czynników w celu uzyskania optymalnych warunków zasilania i chłodzenia. Dzięki właściwemu rozmieszczeniu poszczególnych elementów infrastruktury fizycznej można, bowiem zminimalizować ilość punktów o podwyższonej temperaturze tzw. hotspot oraz właściwie przystosować miejsca gdzie pogorszenie warunków chłodzenia wynika z czynników zewnętrznych np. nasłonecznienia. Aby uzyskać wydajne chłodzenie należy ustawiać szafy ze sprzętem teleinformatycznym w rzędach wszędzie tam gdzie istnieje taka możliwość. Odstępy pomiędzy rzędami szafy w przypadku chłodzenia rzędowego powinny zapewniać aby:

szerokość strefy zimnej wynosiła około 120 cm

szerokość strefy gorącej wynosiła około 90 -100 cm.

Szafy z urządzeniami chłodzącymi należy starać się rozmieszczać na końcach rzędów szaf rackowych ustawiając je frontem do stref. Tam, gdzie jest to możliwe należy umieścić klimatyzatory naprzeciwko strefy gorącej, najlepiej po dwie sztuki na jedną strefę. Należy zwrócić uwagę, iż w projekcie infrastruktury fizycznej należy uwzględnić zarówno strukturę rozmieszczenie szaf jak i sprzętu IT w samych szafach. W przypadku istniejących centrów danych, w których planuje się wdrożenie niewielkiej ilości serwerów typu blade, aby zminimalizować ich wpływ na funkcjonowanie centrum danych i uzyskanie obniżenie kosztów utrzymania, korzystne jest ich rozmieszczenie w wielu szafach przy zachowaniu wypełnieniu od 25% do 50% pełnej pojemności szafy (tj. trzy lub mniej urządzenia blade na szafę). Sam kształt oraz rozmiar pomieszczenia serwerowni ma również duży wpływ na planowanie rozmieszczenia szaf. Pomieszczenia serwerowni powinny mieć, w miarę możliwości kształt prostokątny, gdyż wtedy najłatwiej optymalnie rozmieścić szafy.

PODSUMOWANIE

System chłodzenia jest ważną częścią infrastruktury teleinformatycznej, a jego sprawne funkcjonowanie ma niebagatelny wpływ na dostępność sytemu teleinformatycznego. Administratorzy, tak muszą dobierać systemy chłodzenia, aby zapewniały one chłodzenie szaf o dużej gęstości upakowania. Niezmiernie ważne dla zoptymalizowania chłodzenia jest rozmieszczenie w pomieszczeniu zarówno urządzeń IT jak i elementów infrastruktury chłodzenia w taki sposób, aby uniemożliwić tworzenie się punktów (tzw. hotspot) o znacznie wyższej niż średnia temperaturze. W przypadku większości centrów danych koszt dostosowania istniejących systemów chłodzenia do układów wysokiej gęstości mocy jest wyższy od kosztu zainstalowania dedykowanego systemu dla wyodrębnianej powierzchni w której będą zainstalowane urządzenia wysokiej gęstości. W celu zapewnienia optymalnych warunków chłodzenia szaf serwerowych preferuje ustawianie się ich w rzędach, skierowanych frontami do siebie - jeden za drugim. Coraz częściej jako metodę chłodzenia dla środowisk o wysokiej gęstości w centrach danych stosuje się chłodzenie bezpośrednie InRack. W integracji elementów podsystemu chłodzenia, a zwłaszcza układów dystrybucji czynnika chłodzącego (powietrza), warto stosować rozwiązania standaryzowane, które zapewniają łatwą modernizację. Systemy chłodzenia muszą bowiem, wraz z pozostała częścią infrastruktury, w szerokim zakresie dostosowywać się do zmiennych potrzeb. Nowoczesne systemy chłodzenia centrów przetwarzania danych powinny zapewniać także szerokie możliwości sterowania przepływem chłodnego powietrza do poszczególnych szaf.