Zaprezentowany ranking systemów operacyjnych wzbudzi zapewne wiele kontrowersji zarówno wśród czytelników, jak i zainteresowanych producentów oprogramowania. Celowe jest więc wyjaśnienie kilku kwestii związanych z kryteriami oceny.

Założeniem podstawowym przeglądu było przyjrzenie się sieciowym systemom operacyjnym w ramach zaproponowanych przez redakcję Network World kryteriów oceny. Przyjęto dwa rodzaje ocen: ocena wyrażana metodami pomiarowymi - to jest ocena wydajności każdego systemu operacyjnego na podstawie wykonanych testów, i następnie uzupełniająca, subiektywna ocena wybranych mechanizmów zawartych w każdym produkcie.

Najwięcej kontrowersji mogą budzić: subiektywny przegląd mechanizmów i sposób przydzielania wag poszczególnym ich kategoriom. Nasuwa się również pytanie, czy można porównywać ugruntowane produkty, takie jak np. NetWare, z Win 2000, kiedy ten ostatni miał ukazać się dopiero w lutym br. Testy przeprowadzono jednak z zamiarem zaprezentowania aktualnej wersji każdego produktu, aby dać czytelnikom, nie mających okazji pracować z nimi, wstępną ich ocenę (według redakcji "Network World" wszyscy dostawcy mieli okazję dostarczyć niehandlowe wersje swoich produktów, jeżeli osiągnęły one kod finalny. Microsoft, Novell i SCO zainteresowały się tą ofertą. NetWare 5.1 i UnixWare 7.1.1 testowano w grudniu, zanim wersje te stały się ogólnie dostępne).

Kolejną budzącą wątpliwości sprawą jest punktacja w poszczególnych kategoriach testów: dlaczego np. ocena wydajności stanowi jedynie 25 proc. całej punktacji? Schemat punktowania oparty został jednak na wcześniejszych badaniach ankietowych, w których proszono czytelników o umieszczenie na skali ważności poszczególnych mechanizmów sieciowych systemów operacyjnych. Oczywiste jest, że można zmienić punktację w celu odzwierciedlenia wymagań specyficznego środowiska.

Można również kwestionować rozumienie tego, co kryje się pod pojęciem skalowalności i niezawodności w odniesieniu do realnego środowiska. Wiadomo przecież, że NetWare uzyskał certyfikat C2 w zakresie bezpieczeństwa przyznawany przez rząd Stanów Zjednoczonych, a SCO publikuje dane pokazujące średni czas międzyawaryjny swojego oprogramowania na ponad 12 000 godzin, a idealną miarą niezawodności systemu operacyjnego jest to, jak długo pracuje serwer bez przeładowania. Jednakże zastosowane środowisko testowe ogranicza zakres i perspektywę spojrzenia na te produkty i wyniki testów należy rozpatrywać w kontekście tych ograniczeń.

Chociaż znany jest fakt publicznego demonstrowania przez Novella zdolności skalowania jego usług katalogowych do ponad miliarda obiektów, to jednak dla celów tego testu punktację skalowalności oparto na obsłudze symetrycznego multiprocesingu, wyposażeniu w narzędzia zarządzania do skalowania w obrębie środowiska przedsiębiorstwa i rodzaju dostępnych usług klasteringu. Czy jest to wszystko, co można powiedzieć o skalowalności? Na pewno nie, ponieważ nie oceniono (zapewne z braku możliwości) granic skalowalności każdego systemu. Punktację oparto na ocenie dokładnie tych, przytoczonych wyżej, cech.

Podobnie jest z bezpieczeństwem. Czynnikami decydującymi o punktacji były mechanizmy uwierzytelniania, szyfrowanie w sieci i plików, narzędzia konfigurowania i zarządzania ochroną. Certyfikat C2 nie znalazł odbicia w punktacji.

W zakresie niezawodności ośmiotygodniowy cykl testowania zmuszał do przyjęcia takich, a nie innych kryteriów niezawodności, ponieważ w tej sytuacji praktycznie można ocenić: w jakich okolicznościach przeładowywano system w czasie cyklu testowego, jakie narzędzia były dostępne do składowania i odtwarzania systemu oraz jaki poziom protekcji pamięci oferuje każdy system.

Wszystkie takie przeglądy mają to do siebie, że sposób nadawania priorytetów poszczególnym charakterystykom produktów jest zazwyczaj różny od tego, co preferują poszczególni użytkownicy, uwarunkowani swoim środowiskiem. Znalezienie "złotego środka" jest zadaniem praktycznie niewykonalnym.

W takiej sytuacji należy zadać sobie pytanie, czy stwierdzenie o "wyższości Świąt Bożego Narodzenia nad Świętami Wielkiej Nocy" jest tak istotne, zwłaszcza w tak złożonej dziedzinie, jak sieciowe systemy operacyjne. Wydaje się, że ten rodzaj przeglądu jest dobry jedynie do skatalogowania mechanizmów, jakie zawierają poszczególne systemy, testowanie bowiem w laboratorium ma zawsze swoje ograniczenia. W przypadku sieciowych systemów operacyjnych istnieje jeden atrybut, który jest zbyt trudny do oceny w laboratorium: stabilność. Produkty "ćwiczone" w laboratorium nie zachowują się tak jak w środowisku naturalnym. Są to tylko mniej lub bardziej zręcznie dobrane dane testowe i czasami trochę cennych spojrzeń, ale brak jest odniesienia do warunków rzeczywistych, w jakich pracują systemy operacyjne. I z tego powodu najlepszym miernikiem są jednak badania rynkowe i ustalenia wydajności osiąganej w świecie rzeczywistym - co dla nowych na rynku produktów jest celem niemożliwym do osiągnięcia.

Tak więc pomimo przyznania systemowi Windows 2000 największej liczby punktów wydaje się, że zwycięstwo to jest trochę sztuczne: jedynym w miarę obiektywnym testem jest w praktyce ocena wydajności w obsłudze plików i transakcji TCP (oceny potwierdzają przewagę NetWare nad Win 2000). Pozostałe analizy, w 75 proc. "ważące" na ocenie, są subiektywnymi ocenami, opierającymi się na wybieraniu jednych mechanizmów i pomijaniu innych.

Powrót