Wieloprocesorowe routery Wellfleet

Zwykle w architekturze SMP jednym z najważniejszych czynników mogących doprowadzić do przeciążenia szyny jest zwiększanie liczby procesorów. W routerach - wyspecjalizowanych komputerach służących do przesyłania informacji w środowisku sieci lokalnych i rozległych - o natężeniu ruchu na szynie decyduje liczba podłączonych portów sieciowych. Zastąpienie rozwiązania z jednym procesorem centralnym przez pewną odmianę architektury SMP przyczynia się do odciążenia szyny.

Zwykle w architekturze SMP jednym z najważniejszych czynników mogących doprowadzić do przeciążenia szyny jest zwiększanie liczby procesorów. W routerach - wyspecjalizowanych komputerach służących do przesyłania informacji w środowisku sieci lokalnych i rozległych - o natężeniu ruchu na szynie decyduje liczba podłączonych portów sieciowych. Zastąpienie rozwiązania z jednym procesorem centralnym przez pewną odmianę architektury SMP przyczynia się do odciążenia szyny.

Router jest węzłem łączącym kilka sieci, które mogą stosować różne protokoły przesyłania informacji. Urządzenie to rozszerza możliwości użytkowników sieci lokalnych, dając im dostęp do funkcji i zasobów sieci MAN i WAN. Zadaniem routera jest przyjmowanie pakietów, tzn. jednostek, na jakie jest dzielona informacja przesyłana w sieci i wysyłanie ich (forwarding) do innych węzłów sieci, tak aby w końcu osiągnęły one węzeł docelowy. Ponadto router realizuje funkcję określaną jako filtrowanie pakietów, która polega na ograniczeniu zasięg ruchu pakietów i zapobieganiu przedostaniu się ich do fragmentów sieci, dla których na pewno nie są przeznaczone.

Aby wykonać swe zadania router analizuje i modyfikuje nagłówki pakietów, zawierające informacje o ich adresach docelowych, utrzymuje bazy danych złożone z tablic adresów i połączeń sieciowych (adress and routing tables) oraz tworzy i obsługuje bufory do tymczasowego przechowywania pakietów. Współpraca z sieciami o różnych protokołach stwarza konieczność przechowywania wielu programów ich obsługi. Dodatkowo router wykonuje programy wspomagające zarządzanie pracą węzła sieci (np. wg standardu SNMP).

Węzeł sieci powinien działać szybko i niezawodnie, a jego konstrukcja powinna umożliwiać łatwą rozbudowę (w miarę podłączania się użytkownika do kolejnych sieci) i usuwanie awarii przez wymianę uszkodzonych modułów "na gorąco" (hot swap).

Wady systemu scentralizowanego

Funkcje routera są na tyle złożone, że wymagają użycia procesora centralnego, przynajmniej takiego samego jak w "zwykłych", tzn. mniej wyspecjalizowanych komputerach. Transmisja pakietów między routerem a obsługiwanymi przezeń sieciami należy do modułów sprzętowych interfejsu sieciowego - w skrócie NIM (od Network Interface Modules). Moduł NIM zawiera jeden lub kilka portów sieciowych i układ łączący go z szyną routera, przez którą pakiety są przesyłane do pamięci dostępnej dla procesora.

Jest to najprostsza wersja architektiry jednoprocesorowej. Wszystkie pakiety muszą być przetwarzane przez jeden procesor przy dodawaniu więc modułów NIM pogarsza się efektywność pracy systemu, a awaria procesora oznacza przerwanie wszystkich połączeń z sieciami. Każdy pakiet jest dwukrotnie przesyłany po szynie, nawet jeśli jest wysyłany do sieci przez ten sam NIM, przez który został wprowadzony do systemu.

Zmodyfikowana architektura jednoprocesorowa to rozwiązanie, w którym każdy moduł NIM jest wyposażony w procesor peryferyjny realizujący filtrowanie i rozsyłanie pakietów w obrębie jego własnych portów. Ma to na celu zdjęcie z procesora centralnego obsługi pakietów, które są wysyłane z routera przez port należący do tego samego mudułu NIM, przez który zostały nadesłane.

Ta wersja jest trochę lepsza, ale procesor centralny ciągle jest obarczony obsługą wszystkich pakietów wędrujących między różnymi jednostkami NIM, jego awaria uniemożliwia transmisję tych pakietów, a ponadto każdy z nich w dalszym ciągu musi być dwukrotnie przesyłany po szynie.

Firma Wellfleet poszła o krok dalej i w czterech modelach routerów zastosowała rozwiązanie, w którym wyeliminowano procesor centralny, a z każdym modułem NIM związano osobny procesor realizujący wszystkie funkcje transmisji pakietów i zarządzania siecią. Jest to wersja architektury SMP - symetrycznego przetwarzania wieloprocesorowego. Modele oparte na tym rozwiązaniu noszą nazwy Link Node (LN), Concentrator Node (CN), Backbone Link Node (BLN) i Backbone Concentrator Node (BCN). Routery LN i CN zastosowano m.in. w sieci routerowej Poczty Węgierskiej MATAV.

Architektura SMP routerów Wellfleet

Elementami architektury SMP stosowanej przez Wellfleet są: moduły procesorów i moduły interfejsu sieciowego NIM, umieszczone na osobnych, wymiennych kartach; szyna łącza międzyprocesorowego (procesoor interconnect) oraz pamięć globalna dostępna dla wszystkich procesorów za pośrednictwem układów DMA, podzielona na fragmenty umieszczone na poszczególnych kartach procesorów.

Moduły procesorów nie różnią się między sobą pod względem funkcji i uprawnień. Wszystkie są wyposażone w jednostki pamięci lokalnej i komunikują się ze sobą za pośrednictwem łącza międzyprocesorowego. Każdy z nich realizuje przesyłanie pakietów (forwarding) dla wszystkich protokołów i żaden nie ma statusu jednostki centralnej.

Karty NIM zawierają porty łączące router z różnymi rodzajami sieci. Każda karta NIM jest bezpośrednio połączona z jednym modułem procesora, któremu przekazuje pakiety danych nadesłane przez sieć. Moduł procesora i połączony z nim NIM tworzą inteligentne łącze sieciowe - moduł ILI (Intelligent Link Interface).

ß Moduły interfejsu sieciowego NIM zajmują się tylko wymianą pakietów danych między fizycznym łączem sieciowym a pamięcią globalną routera. Kontrolery łączy sieciowych należące do NIM odpowiadają konkretnym typom interfejsów sieciowych. Każdy kontroler realizuje operacje typowe dla układów DMA, dzięki czemu może umieszczać nadsyłane pakiety bezpośrednio w jednostce pamięci globalnej stowarzyszonego z nim modułu procesora, nie korzystając z szyny łącza międzyprocesorowego.

ß Moduły procesorów odpowiadają za filtrowanie i rozsyłanie pakietów oraz pozostałe funkcje obliczeniowe routera. Każdy moduł zawiera procesor realizujący te funkcje, układ bezpośredniego dostępu do pamięci (DMA), pamięć lokalną procesora, jednostkę pamięci globalnej i interfejs modułu NIM. W pamięci lokalnej przechowywane są protokoły przesyłania pakietów i tablice adresów oraz wszystkie inne dane i programy niezbędne do działania routera. Pamięć globalna służy do tymczasowego przechowywania przesyłanych pakietów.

Procesor pobiera z pamięci globalnej pakiet umieszczony tam przez "swój" moduł NIM i albo go odfiltrowuje (tzn. usuwa z pamięci), albo ustala łącze sieciowe, przez które należy wysłać go dalej. Jeśli to łącze należy do innego modułu ILI to pakiet zostaje przesłany przez DMA po szynie łącza międzyprocesorowego do odpowiedniej jednostki pamięci globalnej. Jeśli łącze należy do tego samego modułu ILI - procesor wydaje kontrolerowi łącza rozkaz przesłania pakietu z pamięci globalnej na zewnątrz, co nie wymaga angażowania szyny.

ß Szyna łącza międzyprocesorowego (processor interconnect) zapewnia komunikację między wszystkimi modułami procesorów routera. Układy DMA umieszczone na kartach procesorów przesyłają po niej pakiety do jednostek pamięci globalnej umieszczonych na innych kartach. Od przepustowości szyny zależy wydajność routera.

Jako łącze międzyprocesorowe Wellfleet wykorzystuje albo standardową szynę VMEbus, albo - tylko w modelach BLN i BCN - własny układ o nazwie PPX (Parallel Packet Express), o przepustowości 1Gb/sec. VMEbus o szybkości 320 Mb/sec umożliwia współpracę z łączami sieci o dużej przepustowości, np. FDDI.

ß Rodzina kart Wellfleet przeznaczonych do pracy w routerach wieloprocesorowych obejmuje duży zestaw interfejsów sieciowych NIM (patrz: ramka) oraz trzy typy kart z modułem procesora: ACE 020, ACE 030 (Advanced Communications Engines) i FRE 040 (Fast Routing Engine). Najmocniejsza z nich - FRE 040 - jest dostosowana do pracy z łączem międzyprocesorowym PPX i jest stosowana w routerach BLN i BCN. Routery LN i CN wykorzystują moduły ACE 020 i ACE 030, a jako łącze międzyprocesorowe - standardową szynę VMEbus.

Na każdej karcie procesorowej są umieszczone dwa procesory Motoroli. Jeden działa jako procesor główny, tzn. realizuje funkcje obliczeniowe routera, a drugi pełni rolę układu DMA (patrz: tabela). ACE 030 różni się od ACE 020 szybszymi procesorami oraz pamięcią podręczną o pojemności 64kB, przechowującą instrukcje i dane, umieszczoną na płycie (on-board cache).

ß Moduł FRE 040 i łącze międzyprocesorowe PPX to dwa produkty Wellfleeta gwarantujące dużą wydajność routerów. Karta procesorowa FRE 040 osiąga przepustowość 75000 pps (pakietów na s). Jej procesor główny - MC68040 33MHz - ma dwie wbudowane jednostki pamięci podręcznej (on-chip cache), do osobnego przechowywania danych i instrukcji, każda o pojemności 4 KB. Ponadto moduł zawiera pamięć podręczną do buforowania pakietów (odrębną od pamięci lokalnej).

Funkcje DMA pełni wyspecjalizowany sterownik szyny (APIC - Application Specific Interface Circuit) o nazwie PPXI (PPX Interface), dostosowany do współpracy z szybkim łączem międzyprocesorowym PPX. Jest ono złożone z czterech niezależnych, redundantnych ścieżek danych o szybkości 256 Mb/sec każda. Każdy moduł FRE połączony jest ze wszystkimi czterema ścieżkami. Wybór ścieżek dla poszczególnych transmisji jest dokonywany losowo w celu wyrównania ich obciążeń.

Efektywność, modularność i odporność.

Ponieważ każdy procesor dysponuje programami filtrowania i przesyłania pakietów, to żaden z nich nie jest obciążony działaniami na rzecz pozostałych, a tym samym nie tworzy wąskiego gardła w systemie. Bezpośrednie połączenie NIM z kartą procesora gwarantuje, że po szynie będą transmitowane tylko te pakiety, które przesyła się między różnymi NIM i że każdy będzie po niej przechodził tylko raz - "opuszczając" router.

Zastosowanie architektury SMP powoduje, że - inaczej niż w architekturach z wyróżnionym procesorem centralnym - żaden moduł routera nie stanowi jego pięty achillesowej. Awaria jednej karty procesorowej wpływa tylko na współpracę z sieciami, do których jest ona podłączona. Komunikacja w obrębie pozostałych sieci jest realizowana przez funkcjonujące jednostki interfejsu ILI.

Konstrukcja obudowy i płyt zwiększa niezawodność urządzenia - przez eliminację wewnętrznego okablowania oraz umożliwia jego łatwą rozbudowę i modyfikację, gdyż łatwo jest wstawić lub wymienić każdy moduł, także w czasie pracy urządzenia. Obydwa typy kart ACE mogą pracować rownocześnie w jednym routerze. Każda karta NIM jest wyposażona w gniazdo umożliwiające bezpośrednie łączenie z dowolną kartą procesorową produkcji Wellfleet. Procesor główny i podręczny bufor pakietów w FRE 040 są umieszczone na osobnej karcie (daughterboard) zdejmowanej z głównej płyty modułu. W przyszłości uprości to zamianę procesora głównego na nowszy, bez kupowania całego modułu. Karta FRE 040 jest wyposażona w 2MB pamięci nieulotnej (flash EPROM) do przechowywania informacji o konfiguracji i niektórych danych należących do programów. Przyspiesza to restart systemu.

Przedstawiona architektura umożliwia łatwą rozbudowę routera, czyni go odpornym na awarie oraz zapewnia większą przepustowość niż alternatywne rozwiązania oparte na jednym procesorze centralnym i ewentualnie wielu procesorach peryferyjnych.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200