Każdy z systemów testowany był na serwerach Compaq ProLiant 1600 z dwoma procesorami Pentium III 650MHz, buforem L2 - 512 kB i 640 MB RAM. Pamięć dyskowa to Compaq RAID Array 4214 z dyskami 14,9 GB, podłączona do sterownika Ultra2 SCSI oraz osobna pamięć zewnętrzna dla systemu operacyjnego o pojemności 9,1 GB, podłączona do drugiego sterownika Ultra 2 SCSI. Taka konfiguracja zwiększa przepustowość podsystemu dysków i zapobiega tworzeniu się wąskich gardeł przy dostępie do pamięci dyskowej.

Osprzęt klienta składał się z czterech maszyn ProLiant 1600 z dwoma procesorami Pentium III 600 MHz i 640 MB RAM. Dwie dodatkowe maszyny ProLiant 1600 wyposażone były w procesory Pentium II 400 MHz i 256 MB RAM. Każdy system kliencki wyposażony był w Windows NT Server 4.0.

Serwery i klienci podłączeni byli do sieci z interfejsem Intel Pro 100+. Konfiguracje uzupełniał przełącznik Cisco Catalyst 2900 z 24 portami 10/100 Mb/s Ethernet. Wszystkie karty sieciowe i porty przełącznika zostały skonfigurowane na szybkość 100 Mb/s w półdupleksie. Do sterowania siecią była używana dodatkowa maszyna Compaq 1600 z czterema kartami sieciowymi Ethernet.

W testach osiągów skupiono się na obsłudze plików i wydajności operacji sieciowych. Do testowania wydajności obsługi plików użyto programu Benchmark Factory firmy Client/Server Solution, pozwalającego na przeprowadzenie testów obciążających podsystem plików w systemach operacyjnych. Serwer konfigurowano tak, aby zapewniał współdzielenie plików sieciowych Windows dla wszystkich klientów używających protokołu WSMB (Windows System Message Block) przez IP. Na każdym kliencie zainstalowano agenta Benchmark Factory i zmodyfikowano pliki LMHOSTS dla równomiernej dystrybucji zleceń transakcji plików do serwera.

Test podzielono na dwie kategorie: transfery małych i dużych plików. Do testowania transferu małych plików używana była kombinacja: kierunków transmisji (czytaj/pisz), rozmiaru bloku (1 kB i 8 kB) i typu transmisji (losowa, sekwencyjna) - co daje w rezultacie osiem indywidualnych testów. Testy transmisji małych plików używały mieszanki plików o wielkościach: 1 kB (80%), 10 kB (10%) i 50 kB (10%). Wszystkie transakcje zapisu prowadzone były z ustawioną flagą zapisu przez bufor (write through flag). Flaga ta była ustawiana w celu symulacji wymuszania przez aplikacje zapisu przez bufor do dysku. Ponieważ część aplikacji nie wymusza zapisu na dysk, test powtórzono z wyłączoną flagą write through.

W testach dużych plików zapis i odczyt połączone były w tym samym teście w celu symulacji typowych operacji przy obsłudze długich plików. Użyto mieszanki składającej się w 90 proc. z odczytów i w 10 proc. z zapisów. Utworzono zestaw czterech testów pokrywający wszystkie kombinacje typów transmisji (losowa/sekwencyjna) z rozmiarami bloków (1 kB/8 kB). Testy transmisji długich plików przeprowadzono z mieszanką plików o długości 500 kB (80%) i 1 MB (20%). Wszystkie operacje zapisu prowadzone były z ustawioną flagą zapisu przez bufor i powtórzone dla flagi wyłączonej.

Agent na kliencie tworzył te pliki dla każdego wirtualnego użytkownika ustawionego na starcie każdego testu. Uruchomiono pięć iteracji każdego testu ze zwiększającą się liczbą wirtualnych użytkowników, zaczynając od jednego i kończąc na 200 (krok co 50 użytkowników). W testach zapisu sekwencyjnego krok zmieniono na 10, dochodząc do 40 użytkowników.

Punkty za wydajność w zakresie operacji na plikach wyliczono normalizując do skali dziesięciopunktowej uśrednioną (z wszystkich iteracji) szybkość, wykazaną w każdym z poszczególnych testów, według wzoru:

ptt = (st / maxt )x10 (gdzie: ptt - punktacja znormalizowana w danym teście; maxt - maksymalna, uśredniona szybkość uzyskana w danym teście; st - szybkość normalizowana). Następnie uśredniano otrzymaną punktację (zob. tab. "Wyniki testów operacji na plikach" i "Punkty za wydajność w zakresie operacji na plikach").

Do testowania wydajności systemów operacyjnych w zakresie operacji sieciowych użyto oprogramowania Chariot firmy Ganymede Software, które różni się od oprogramowania Benchmark Factory tym, że transakcje plików wykonywane są w pamięci operacyjnej - podsystem dysków nie jest używany. Chariot został użyty do porównania efektywności sterowników kart sieciowych i stosów TCP/IP, mierzonej liczbą operacji, którą każdy system operacyjny może wykonać, zanim przekroczy próg "wydolności" procesora, oraz do porównania podstawowej przepustowości serwerów.

Dla testów stosu TCP używano jedynie dwóch kart sieciowych na serwerze, wyłączając pozostałe dwie. Maska podsieci została ustawiona na 255.255.252.0, co grupowało adresy 100.0.1.x i 100.0.2.x w tej samej podsieci.

Ustanowiono kilka dwukierunkowych strumieni transmisji krótkich plików w TCP z każdego klienta do serwera. Sesja TCP była budowana i inicjowana dla każdych 3 kB transmitowanego pliku. Powodowało to duże obciążenie procesorów, doprowadzając w końcu do ich zablokowania obsługą transmisji - w ten sposób test wykazywał efektywność stosu TCP i sterowników kart sieciowych dla każdego systemu operacyjnego. Test był uruchamiany na 10 minut i notował wartość zagregowanej przepustowości dla każdego strumienia danych.

Test Ganymede był uruchomiony powtórnie w celu uzyskania ogólnego obrazu średniej zagregowanej przepustowości dla wszystkich czterech interfejsów sieciowych na serwerze. Dwukierunkowy strumień pomiędzy punktami końcowymi został skonfigurowany jako długie sesje TCP z dużymi plikami o długości 10 MB. Na starcie test otwierał sesje TCP i następnie wysyłał pliki podczas całego czasu trwania testu. Sesja nie była zamykana aż do końca testu. Test był uruchamiany na 10 minut w celu uzyskania pomiaru średniej zagregowanej przepustowości.

W celu wyliczenia punktacji uśredniono szybkości uzyskane w transakcjach długich i krótkich, a następnie znormalizowano wyniki do skali dziesięciopunktowej - analogicznie do testu operacji na plikach - uzyskane zaś punkty uśredniono (zob. tab. "Test operacji sieciowych").

Dla każdego systemu operacyjnego przeprowadzono także jakościową ocenę: narzędzi zarządzania, ochrony, stabilności i odporności na błędy, procesu instalacyjnego i dokumentacji.

Oceniono użyteczność całego interfejsu zarządzania, jak również obsługę monitorowania serwera, administrację klientem oraz zarządzanie plikami, drukarkami i pamięcią zewnętrzną. Oceniono skalowalność każdego systemu na podstawie jego możliwości symetrycznego multiprocesingu, obsługę obchodzenia uszkodzeń techniką klastrowania i możliwości rozkładania obciążeń w klastrach. Dla oceny systemu ochrony wzięto pod uwagę szyfrowanie plików, szyfrowanie haseł i identyfikatorów użytkowników przesyłanych w sieci oraz zaawansowane mechanizmy ochrony. W zakresie stabilności i możliwości obchodzenia uszkodzeń produkty oceniano pod kątem możliwości oprogramowania RAID, utility składowania i odtwarzania, a także stosowania mechanizmów protekcji pamięci.

Powrót