Na początku października redakcja NetWorld otrzymała od firmy Cisco Systems Poland list dotyczący testu szybkości filtrowania pakietów przez rutery dostępowe ["Cała prawda o filtrowaniu pakietów", NetWorld 9/2003; artykuł powstał na podstawie: "NetworkWorld" z dn. 14 lipca br. "Filters on routers: The price of performance"]. Obszerne fragmenty listu publikujemy:

[...] Negatywny dla Cisco wynik testu był przede wszystkim efektem nieumiejętnego skonfigurowania routera przez zespół testujący. Duży wpływ miała też decyzja "NetworkWorld" o wyborze przestarzałego urządzenia (choć w tej samej cenie można było kupić urządzenia nowej generacji z serii Cisco 2600XM o większej pamięci i mocy procesora) oraz dobrania wersji oprogramowania routera nieadekwatnego do planowanych testów. W rzeczywistości poprawnie skonfigurowany router oddziałowy Cisco - nawet taki, jak użyty w testach - znakomicie sobie radzi z filtrowaniem pakietów z pełną wydajnością nie tylko pary amerykańskich łączy T1 (1,5 Mb/s), ale także europejskich łączy E1 (2 Mb/s).

W kwietniu br. redakcja amerykańskiego pisma "NetworkWorld" zwróciła się do Cisco Systems z prośbą o udostępnienie sprzętu do testów wydajności filtrowania pakietów przez listy kontroli dostępu w routerach (nie było wówczas jeszcze mowy o testach OSPF i BGP). Po zapoznaniu się ze szczegółowym programem testów Cisco Systems odmówiło w nim udziału - wydajność filtrowania jest tylko jednym z wielu parametrów routera. Przynajmniej równie ważne dla użytkowników są takie aspekty, jak niezawodność, bezpieczeństwo, usługi zaawansowane wykorzystywane m.in. do transmisji głosu, a także całkowity koszt posiadania. Testy jednego tylko parametru nie dają więc podstaw do miarodajnej oceny urządzenia. Co ważne - uzyskane w testach wyniki całkowicie potwierdziły ówczesne stanowisko Cisco. Wszystkie testowane routery (łącznie z poprawnie skonfigurowanym routerem 2651) radziły sobie z głównym zadaniem postawionym przez testujących praktycznie równie dobrze, a więc wydajność filtrowania nie jest dobrym kryterium oceny.

W obliczu odmowy współpracy redakcja "NetworkWorld" postanowiła zdobyć sprzęt do testów na własną rękę i kupiła w tym celu router Cisco 2651. Jednak w tym czasie routery tego typu były już zastępowane przez wprowadzone rok wcześniej i sprzedawane w tej samej cenie routery z serii 2600XM, a w kwietniu zostały ostatecznie wycofane ze sprzedaży. Ponadto pomimo zaplanowania testów czysto wydajnościowych, zakupiona została najbardziej rozbudowana wersja oprogramowania Cisco IOS wyposażona m.in. w obsługę protokołu IPX, szyfrowanie, firewall, IDS itp., choć żadna z tych funkcji nie została w testach wykorzystana. W stosunku do najprostszej wersji obsługującej wyłącznie protokół IP jest ona nie tylko droższa, ale też zajmuje więcej pamięci i wydłuża czas uruchamiania urządzenia. W efekcie testowany i oceniany był produkt, który nie dość, że w momencie prowadzenia testów nie był już oficjalnie sprzedawany, to jeszcze jego konfiguracja była nieadekwatna do planowanego scenariusza testów.

Mimo iż do testów wybrano urządzenie przestarzałe, testy kontrolne przeprowadzone przez Cisco Systems pokazały, że prawidłowo skonfigurowany router Cisco 2651 spełnia kryteria wydajnościowe testu równie dobrze, jak pozostałe testowane urządzenia. Routery Cisco mają dwa podstawowe tryby pracy: flow switching i process switching. Cisco zaleca wykorzystywanie do normalnej pracy trybu flow switching, w którym router osiąga najwyższą wydajność - w przypadku routerów 2651 jest to ok. 35 tys. pakietów na sekundę. Tymczasem polecenie "log" kilkakrotnie użyte w testowym pliku konfiguracyjnym wprowadza oprogramowanie routera w tryb przełączania procesów (o wydajności 2 tys. pakietów na sekundę) w celu wyświetlania informacji na konsoli. Tymczasem te same informacje można uzyskać za pomocą polecenia "show ip access-lists" bez spowalniania pracy urządzenia. W efekcie jedynym praktycznym skutkiem wprowadzenia polecenia "log" do konfiguracji routera jest piętnastokrotne spowolnienie jego pracy.

Oprócz testów wydajności filtrowania pakietów przeprowadzono testy związane z przetwarzaniem protokołów routingu OSPF i BGP. Scenariusze przyjęte w obydwu tych testach są nierealistyczne. Mały router oddziałowy - taki jak testowany router 2651 - nie jest przeznaczony do przetwarzania dużych tablic routingu, zwłaszcza pełnej tablicy BGP. Do tego typu zastosowań Cisco zaleca wykorzystywanie silniejszego routera z 256 MB RAM, np. Cisco 2691 lub 3700. Ponadto sposób przeprowadzenia testów wydajności BGP, po ustabilizowaniu tablic routingu, w praktyce mierzy nie wydajność procesora, lecz jedynie pojemność pamięci, w której jest przechowywana tablica tras. Tymczasem testowany router Cisco miał o połowę mniej pamięci (128 MB) niż zalecana przez producenta do takich zastosowań. Również środowisko testów OSPF odbiegało od zaleceń producenta. Umiejętny podział sieci na obszary OSPF nie tylko odciąża routery dostępowe od przetwarzania tysięcy tras, ale także zmniejsza obciążenie sieci rozległej i zwiększa jej stabilność.

Konkludując: router Cisco 2651XM jest modelem o wydajności właściwej do zastosowań, w tym również do równoczesnej obsługi dwóch łączy T1/E1. Wbrew wynikom testów "NetworkWorld" wystarczającą wydajność miał również jego poprzednik, Cisco 2651.

Cisco Systems współpracuje z mediami testującymi rozwiązania sieciowe nie tylko udostępniając im sprzęt i oprogramowanie, ale także dzieląc się specjalistyczną wiedzą. Jednak zarówno sam przedmiot testów, jak i warunki jego prowadzenia powinny odpowiadać na pytania związane z rzeczywistymi warunkami eksploatacji testowanych rozwiązań. Tylko wówczas ich wyniki będą miarodajne i wartościowe dla Czytelników.

Dariusz Piotrowski

dyrektor techniczny

Cisco Systems Poland

Od Redakcji:

Przesłane wyjaśnienia producenta nie zmieniają faktów, o których była już mowa w artykule (a także w samym liście):

1. Wbrew temu, co pisze Pan Dariusz Piotrowski w ostatnim akapicie swego listu, firma Cisco odmówiła - nie pierwszy zresztą raz - przekazania sprzętu do testów, nie pomagając także "we właściwej konfiguracji" urządzenia, co w efekcie może prowadzić do sytuacji, jak wyżej opisywana.
2. Cisco było informowane na bieżąco o metodologii i planach publikacji wyników testu.
3. Przypominamy: zasadniczym celem testu było badanie wpływu filtrowania ruchu na wydajność ruterów.