Testy porównawcze: plusy i minusy

Wielu użytkowników eksploatujących serwery typu RISC, pracujące pod systemem Unix, ocenia ich wydolność na podstawie wyników uzyskanych po uruchomieniu testów porównawczych oferowanych przez TPC (Transaction Processing Performace Council) i SPEC (System Performance Evaluation Corp.).

Wielu użytkowników eksploatujących serwery typu RISC, pracujące pod systemem Unix, ocenia ich wydolność na podstawie wyników uzyskanych po uruchomieniu testów porównawczych oferowanych przez TPC (Transaction Processing Performace Council) i SPEC (System Performance Evaluation Corp.).

W ostatnich latach testy TPC i SPEC, a szczególnie te propagowane przez TPC, były jednak bardzo krytykowane. Zarzuca się im przede wszystkim to, że nie są one w należytym stopniu przystosowane do oceny produkowanych obecnie serwerów oraz to, że nie są one obiektywne (zbyt duża asysta producentów serwerów przy testowaniu ich wyrobów nie uwiarygodnia bynajmniej wyników testów). Czy zarzuty te mają rzeczywiście podstawy? A jeśli tak, to czy wyniki uzyskiwane po uruchomieniu testów porównawczych TPC i SPEC można uważać za wiarygodne?

Jak twierdzą specjaliści oraz sami użytkownicy serwerów odpowiedź na pierwsze pytanie powinna brzmieć - tak. Są niestety uzasadnione podstawy, aby żywić takie obawy. Wyniki testów są interpretowane przez samych producentów sprzętu i można się założyć, że chwytają się oni wszelkich możliwych sposobów, aby test porównawczy (benchmark) wypadł jak najkorzystniej dla nich.

Jak twierdzi Andrew Allison (wydawca "Inside the New Computer Industry"), "istnieje duża dowolność co do sposobu przeprowadzania testów. Producenci stosują różne kompilatory i metody testowania czy zarządzania pamięcią serwera". W najlepszym przypadku test porównawczy dostarcza nam nieraz tylko przybliżone dane co do mocy obliczeniowej danego serwera.

Potwierdza tę opinię Bruce Kirk (programista pracujący w firmie Domecq Importers Inc.), który mówi, "producent zdolny jest zbudować stanowisko testowe, które nie ma nic wspólnego ze światem rzeczywistym. Chyba że firma, w której pracujemy, ma nieograniczone wprost fundusze i może sobie pozwolić na zakup serwera w tak rozbudowanej konfiguracji". I dodaje, "informacja, że jakiś tam serwer zdolny jest wykonać dwa tysiące transakcji na sekundę jest nam absolutnie niepotrzebna. Nasze potrzeby są z reguły dużo mniejsze".

Najlepszą metodą wykorzystania testów porównawczych jest sporządzenie sobie na początku spisu serwerów, które nas interesują. Mając już taką listę można dokonać porównania dwóch podstawowych parametrów każdego systemu: szybkość przetwarzania danych i cena (oczywiście w konfiguracji, w jakiej przeprowadzano testy). Pozwala to wyeliminować z listy te serwery, których parametry i ceny przewyższają nasze potrzeby oraz możliwości.

Operowanie samymi wynikami testów w oderwaniu od cen mija się z celem. Cóż z tego, że dany serwer pracuje bardzo szybko, skoro za tę szybkość trzeba płacić niewspółmiernie wysoką cenę. Przypatrujmy się zatem bliżej zależności szybkość przetwarzania danych/cena. A trzeba sobie jasno powiedzieć, że rzadko który producent umieszcza takie informacje w specyfikacji technicznej serwera. Klient zmuszony jest prosić producenta o udostępnienie mu tego typu danych lub korzystać z usług organizacji wykonujących testy porównawsze sprzętu komputerowego.

Dopiero po wybraniu konkretnych już serwerów należy się skontaktować z producentami i poprosić ich o przetestowanie na konkretnych systemach interesujących nas aplikacji użytkowych.

Spośród wszystkich organizacji zajmujących się testowaniem serwerów typu RISC, dwie wymienione już wcześniej (to jest TPC i SPEC) zajmują dosyć specyficzną pozycję. Wiąże się to z tym, że ich działalność sponsorowana jest przez przemysł komputerowy. Dlatego też producenci serwerów mają w tym przypadku pewien wpływ na sposób przeprowadzania testów. Można by tu wymienić jeszcze dwie organizacje, które są też wspierane finansowo przez producentów sprzętu komputerowego: AIM Technology i Neal Nelson.

TPC wykonuje testy porównawcze, określając moc serwera przez liczbę przeprowadzanych transakcji na sekundę. SPEC koncentruje się wyłącznie na pomiarach wydajności w skali - liczba wykonywanych operacji stało- i zmiennoprzecinkowych na sekundę.

Z kolei AIM Technology i Neal Nelson specjalizują się w testowaniu serwerów wielozadaniowych pracujących pod systemem Unix.

Stosowane do tej pory testy TPC-A i TPC-B stały się już mało wiarygodne i zostały zastąpione przez test TPC-C. Wydaje się, że TPC nie popełnia już tych błędów, które doprowadziły do zdewaluowania się testów TPC-A i TPC-B, i prowadzi bardziej rygorystyczną politykę w stosunku do testu TPC-C.

Test TPC-C trwa dwa razy dłużej niż TPC-A i kosztuje cztery razy więcej. Dlatego też dla mniejszych producentów jest to dość kosztowne przedsięwzięcie. Tylko wielcy tego rynku, jak np. IBM, Hewlett-Packard Co. czy Sun Microsystems Inc. mogą sobie pozwolić na poddawanie swoich wyrobów testowi TPC-C. Rezultat jest taki, że testy te są mało reprezentatywne, ponieważ nie ma ich z czym porównywać.

Aim Technology testuje szybkość pracy systemów komputerowych sprawdzając wydajność poszczególnych elementów konfiguracji, a więc szybkość pracy dysków twardych, liczbę wykonywanych operacji zmiennoprzecinkowych na sekundę itd. Chociaż niektórych użytkowników interesują też osiągi poszczególnych elementów systemu, to jednak większość zwraca raczej uwagę na ogólną wydajność całego serwera. Nie ma się zresztą czemu dziwić. Mało kto kupuje przecież poszczególne elementy systemu, a zsumowanie parametrów uzyskiwanych przez różne części systemu nie da się w żaden sposób przełożyć na wydajność całego systemu. Wszyscy są zainteresowani kupnem zamkniętej już konfiguracji serwera. Co nie znaczy oczywiście, że nie można go dalej rozbudowywać.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200