Metoda testu

Przed wykonaniem testów zdefiniowano najpierw jedenaście podsieci, po jednej dla każdego portu generatora testowego. Została przyjęta taka konfiguracja, w której strumienie danych musiały przechodzić przez różne podsieci, wskutek czego nie można było uniknąć trasowania, gdyż było ono również celem próby. Na jeden interfejs przypadło 100 strumieni danych, co ostatecznie dało 1100 strumieni. Stopień obciążenia zwiększał się za każdym razem do 100 proc., z czego wynika, że analizator testujący był w rzeczywistości obciążany do maksimum swoich możliwości transmisyjnych. Zmienną testu stanowił natomiast rozmiar pakietów IP.

Pod względem obciążenia wszystkie trzy przełączniki zaprezentowały się z jak najlepszej strony. Kryterium jakości stanowiła tu liczba straconych pakietów podczas silnego obciążania przełącznika czy routera - mniejsza liczba, bardziej wydajny przełącznik. Test był przeprowadzany w taki sposób, aby można było zmierzyć stratę pakietów niezależnie od ich typu. Jeśli w strumieniu danych rozmiar pakietów pozostawał stały, żadne z urządzeń nie zgubiło jakiegokolwiek pakietu, nawet z tych najmniejszych, a wiadomo, że im mniejszy pakiet, tym większe jest obciążenie routera. Przy maksymalnym pobudzeniu generatora testowego, czyli do szybkości 1,1 GB/s, straty pakietów były bardzo niewielkie. Accelara 1100 w żaden sposób nie można było zmusić do gubienia pakietów. Przełącznik Bay Networks nie tracił ich nawet wtedy, gdy się specjalnie o to starano. Ta uwaga odnosi się w zasadzie także do pozostałych urządzeń. Trzeba się było wykazać nie lada pomysłowością, ażeby zmusić przełączniki do gubienia pakietów.

W następnych testach starano się oszacować czas oczekiwania i jego stabilność. Użytkownicy zdecydowani przesyłać głos i dane sieciami IP powinni skupić się na precyzyjnej weryfikacji tych parametrów w swoich urządzeniach, gdyż od nich zależy jakość transmisji. Przy niewielkich obciążeniach, ok. 10% na wszystkich portach, wszystkie testowane urządzenia odznaczyły się dobrą wydajnością. Średnia wartość czasu oczekiwania wynosiła 20 µs dla pakietów 60-bajtowych i 150 µs dla pakietów 1400-bajtowych. Jak się można było tego spodziewać, podczas zwiększania obciążenia czas oczekiwania wydłużał się. Jeśli strumień danych zawierał jedynie pakiety jednego rozmiaru, wartości te można było zakwalifikować jako wystarczające. Procent pakietów, które można nazwać „prawie zapomnianymi” przez przełącznik, tzn. dostarczanych z dużym opóźnieniem, ale z zachowaniem kolejności, był znikomy. Większość pakietów Accelara 1100 osiąga cel po ok. 100 µs, podczas gdy w przełącznika Netlron 16 wartość ta była tylko nieco wyższa. Kiedy przyszła kolej na pomiary parametrów routera 3Com, zaraz odnotowano dużą stratę czasu: większość pakietów przybywała do celu po ok. 600 µs. Wartość ta nie może oczywiście dyskwalifikować urządzenia, ponieważ jakość transmisji pakietów dźwiękowych o czasie oczekiwania od 200 do 400 µs jest jeszcze do przyjęcia. Ale jeżeli do przełączników został dołączony ruch charakteryzujący się zmienną długością ramek, to okazało się, że ponownie zmierzone czasy oczekiwania wszystkich trzech przełączników były dużo większe od wcześniejszych.

Podczas analizy wartości czasu oczekiwania w dłuższym przedziale czasu stwierdzono wyraźne różnice między rezultatami każdego z przełączników. Czas pomiaru nie przekraczał 300 s, czyli 5 minut. W tej fazie testu SuperStack Switch 3800 3Com niekorzystnie odbiegał od pozostałych urządzeń: podczas gdy przełączniki Bay Networks i Foundry Networks ustabilizowały się na wartości zbliżonej do ok. 100 µs, czas oczekiwania przełącznika 3Com oscylował między 30 a 250 µs, ażeby po paru minutach ustalić się na relatywnie wysokim poziomie. Zespół testujący urządzenia nie mógł znaleźć żadnego wytłumaczenia dla tego dość niecodziennego zjawiska.

Poza funkcjami podstawowymi, jak trasowanie, urządzenia wykonują jeszcze inne prace dodatkowe. Zalicza się do nich przetwarzanie protokołów czy komunikację z innymi węzłami sieci. Dochodzą do tego jeszcze algorytmy zapełniania i rozładowania wewnętrznej pamięci buforowej. Powstałe w przełączniku-routerze rzeczywiście skomplikowane efekty wtórne mogą przysporzyć użytkownikowi wielu niespodzianek. Zauważone fluktuacje mają jednak w praktyce niewielkie znaczenie, gdyż wszystkie wartości mieszczą się w akceptowalnych zakresach.

Jitter, czyli chwilowe fluktuacje

Kolejne badania polegały na pomiarach chwilowych wahań czasu oczekiwania. Wielkość ta, znana pod nazwą jitter, jest co najmniej tak ważna dla przesyłanych informacji multimedialnych jak wartość absolutna czasu oczekiwania. W tym teście ograniczono się do ramek o długości 60 bajtów, mając na uwadze znany fakt, że aplikacje VoIP preferują krótkie pakiety. Pomiary wykazały, że kolejne pakiety nadchodziły w miarę równych odstępach czasu, co odpowiada niskiej wartości jitter. Większość pakietów współdzieliła interwał 1-10 µs. Liczba pakietów mieszczących się w przedziale do 200 µs była o rząd wielkości mniejsza.

Wyniki pomiarów jitter są przedstawiane w skali logarytmicznej i przypominają czasem prążki widma. Taki prążek odzwierciedla liczbę pakietów mieszczących się w kolejnych interwałach. Im więcej pakietów obejmuje prążek reprezentujący najkrótszy przedział czasowy (np. 10 µs), tym jitter jest mniejszy. Najlepszy rezultat osiągnął router 3Com, ale i dwa pozostałe również spełniały wymagane kryteria.

Wszystkie testowane urządzenia osiągnęły zadowalające wyniki, jeśli chodzi o czas opóźnienia i jego rozkład, przynajmniej wtedy, gdy obciążenie nie osiągało dopuszczalnego maksimum. Wprawdzie nie osiągnęły one poziomu stabilności przełączników ATM, ale wydajność tych urządzeń nie stanowi przeszkody w użytkowaniu aplikacji multimedialnych. Tak więc usługi w rodzaju VoIP (Voice over IP) powinny działać bez zarzutu nawet w środowisku przełącznika 3Com i to w sytuacjach bardzo znacznego obciążenia.

We wszystkich przypadkach obciążenia sieci zewnętrznej różnica z ATM staje się coraz bardziej znacząca. IP nie może gwarantować jakości usług, a nowe aplikacje, jak chociażby Differentieted Services, nie proponują nic więcej poza potrzebami określonych kategorii ruchu. Tak więc nie można wykluczyć przeciążeń w niektórych warunkach sieciowych.

Podsumowanie

Przełącznik 3Com charakteryzował się stosunkowo dużą liczbą traconych pakietów i najdłuższym czasem oczekiwania. Co więcej, funkcjonowanie tego urządzenia podczas pomiaru długości czasu oczekiwania można było nazwać nieskoordynowanym. Jednak jako router wyróżniał się spośród wszystkich trzech najkorzystniejszą wartością fluktuacji czasu opóźnienia danych (jitter). Ponadto urządzenie 3Com jest najatrakcyjniejsze cenowo.

Dwa pozostałe urządzenia zaprezentowały się podczas silnego obciążenia jeszcze korzystniej niż ich rywal, a Accelara nie można było nawet zmusić do gubienia pakietów. Inne parametry tego routera są bardzo zbliżone do Netlrona, ale jest on droższy.

Warto na koniec przypomnieć, że przy próbach oszacowania współczynnika ceny do wydajności trzeba jeszcze uwzględnić czynniki, takie jak: ewolucyjność, elastyczność wyposażania i oferowaną przez producenta jakość usług. Wspomniane cechy nie były jednak obiektem testów.