Dylematy architekta sieci

Łącza optyczne prowadzące do każdej szafy stelażowej dają większą elastyczność i lepszą ochronę inwestycji niż kable miedziane, ponieważ zapewniają szybszą transmisję na dłuższych dystansach. Przykładowo, przejście z transmisji 40 GB/s na 100 GB/s będzie łatwiejsze w przypadku instalacji światłowodowych. Biorąc pod uwagę wyzwania związane z zasilaniem w przypadku skrętki 10 GB/s (10GBASE-T), każda kolejna generacja tego okablowania (40 czy 100 GB/s) będzie się charakteryzować możliwością transmisji na bardzo krótkie odległości (w zasadzie umożliwiające komunikację tylko wewnątrz szafy). To kolejny argument przemawiający za topologią Top of Rack zamiast End of Row.

W przypadku serwerów blade, których popularność stale rośnie, moduły przełączników są zintegrowane z obudową, co sprawiło, że połączenia światłowodowe są jeszcze chętniej stosowane, ponieważ sama koncepcja Top of Rack została przeniesiona do wnętrza szafy stelażowej. Obudowa blade może zawierać 2, 4 a nawet więcej modułów przełączników i wiele przełączników FC, co powoduje, że znacznie wzrasta liczba przełączników, którymi trzeba zarządzać.

Dylematy architekta sieci

Natomiast jedną z podstawowych wad architektury Top of Rack jest konieczność zarządzania większym obszarem, ponieważ każdy przełącznik typu ToR to oddzielne urządzenie, które wymaga opieki administratora. W dużym centrum danych z wieloma szafami rackowymi topologia ToR może szybko okazać się dużym obciążeniem od strony zarządzania, ponieważ każdy przełącznik wymaga oddzielnego zarządzania. Przykładowo, w serwerowni z 40 szafami, z których każda jest wyposażona w 2 przełączniki, otrzymujemy 80 przełączników tylko i wyłącznie służących do zapewniania serwerom dostępu do sieci (nie licząc przełączników agregujących i rdzeniowych). Jest to 80 egzemplarzy kopii oprogramowania przełączników, które trzeba aktualizować i konfigurować. To 80 urządzeń, które są włączone w strukturę Spanning Tree. Jeśli któryś z przełączników ulegnie awarii, administrator musi wiedzieć, w jaki sposób uzyskać do niego dostęp i wgrać do niego kopię plików konfiguracyjnych (zakładając, że taka kopia została wykonana). Przy tej czynności czasem trzeba wykonać również testy weryfikacyjne. To jednak wymaga wysokich umiejętności, a taki pracownik równie wysoko się ceni.

Topologia ToR z reguły wymaga również stosowania w warstwie agregacyjnej przełączników o większej liczbie portów. Wracając do przykładu z 80 przełącznikami, każdy z tych przełączników powinien mieć redundantne połączenie do warstwy agregacji, co oznacza, że każdy z przełączników agregacji powinien mieć aż 80 portów. Im więcej portów w przełącznikach agregacyjnych, tym większe prawdopodobieństwo, że pojawią się ograniczenia dotyczące skalowalności. Jednym takich ograniczeń bywają logiczne porty STP, które są produktem agregacji portów i VLAN’ów. Przykładowo, jeśli w sieci jest 100 VLAN’ów w jednej domenie L2 z PVST (Per VLAN Spanning Tree) na wszystkich 80 portach przełączników agregacyjnych, w efekcie da to 8000 logicznych portów STP w każdym z przełączników agregacyjnych. Większość wydajnych przełączników modularnych potrafi obsłużyć taką liczbę. Przykładowo, Catalyst 6500 obsługuje łącznie 10 tys. PVST (1800 przez każdą kartę rozszerzeń). Z kolei przełącznik Nexus 7000 obsługuje globalnie 16 tys. PVST bez limitu dla pojedynczych kart rozszerzeń. Niemniej, jest to kwestia, której należy poświęcić uwagę, ponieważ centra danych lubią się rozrastać, czemu towarzyszy wzrost liczby portów, jak również VLAN’ów.

Innym możliwym ograniczeniem jest liczba fizycznych portów. Czy przełączniki agregacyjne mają ich wystarczająco dużo, aby zapewnić obsługę wszystkim przełącznikom ToR? Jak wygląda utrzymanie przepustowości 10 GB/s dla każdego połączenia z szafą stelażową?

Zalety i wady architektury Top of Rack

Zalety:

  • okablowanie w większości przebiega wewnątrz szaf stelażowych, co ogranicza ilość kabli w centrum danych;
  • koszty okablowania są niższe;
  • elastyczna i modularna architektura, łatwość wymiany i rozbudowy infrastruktury w poszczególnych szafach stelażowych;
  • możliwe dostosowanie sieci do transmisji 40 i 100 GB/s dzięki zastosowaniu światłowodów
  • krótkie kable miedziane umożliwiają stosowanie rozwiązań o niskim zasilaniu, jak 10GBASE-CX1.

Wady:

  • większa liczbą urządzeń do zarządzania i wymagana większa liczba portów w przełącznikach agregacyjnych;
  • potencjalne problemy ze skalowalnością;
  • większy ruch L2 między serwerami w warstwie agregacji;
  • szafy stelażowe połączone w warstwie L2, co oznacza większą liczbę STP do zarządzania;
  • potrzebni bardziej wykwalifikowani pracownicy do prac serwisowych.

TOP 200