Testy wzorcowe (Benchmarks) są programami, które mają pomagać porównywać różne systemy komputerowe. W jaki sposób, wg jakich kryteriów, w jakim celu?

Łatwo powiedzieć, trudno wybrać zwycięzcę. Pół biedy, jeżeli sportowcy biegną w tym samym kierunku po jednoczesnym starcie i na ten sam dystans, dobrani co do płci i wieku, przy wietrze nie przekraczającym określonej siły, w butach o znormalizowanych podeszwach, a zegary z fotokomórką uchwycą setne części sekundy. Zakłada się milcząco, że te wszystkie warunki są spełnione, gdy mistrzem świata okazuje się biegacz lepszy od rywala.

Konia z rzędem temu, kto powie, który komputer jest najlepszy. Dyskusja urwie się prawdopodobnie w momencie, w którym ktoś przytomnie zapyta, do jakich prac ma być komputer wykorzystany.

Kto szybszy ten (nie zawsze) lepszy, czyli MIPS

Jak sport to sport. Producenci sprzętu komputerowego postanowili mierzyć prędkości pracy swoich komputerów i przedstawiać publiczności wyniki "gonitwy". Wydawać by się mogło, że podane liczby są miarodajne. Jednym z pierwszych i bardziej popularnych wskaźników szybkości komputera jest MIPS (Millions of Instructions Per Second), określający ile milionów instrukcji wykonuje procesor w ciągu sekundy. Prędko okazało się, że nie jest to wystarczająca miara jakości komputera.

Komputer wykonuje instrukcje, ale praca ta nie jest celem samym w sobie. Wolniejszy komputer może szybciej wykonywać określone zadanie, dla którego został zaprojektowany niż inny, o lepszym wyniku MIPS. Pomiar przydatności komputera do wykonania określonego zadania wymaga wprowadzenia dodatkowych ilościowych i jakościowych kryteriów. Za pomocą parametru MIPS nie można porównywać np. systemów o różnych architekturach mających wpływ na efektywność wykonania zadania. Przydatność MIPS jest ograniczona do porównań określonych typów komputerów.

MIPS nie zweryfikuje również sprawności oprogramowania ani nie uwzględni kryterium kosztów. Jeżeli np. pojawi się brak płynności w komunikacji z urządzeniami zewnętrznymi, to pieniądze wydane na komputer okażą się stracone bez względu na wartość MIPS.

Inną wadą MIPS jest to, że pomiary wykonywane przez różnych producentów nie są porównywalne ze względu na brak standaryzacji w zakresie zestawu instrukcji użytych do testowania. Oto trzy różne odmiany tego testu: Peak Native MIPS, Dhrystone MIPS i Relative MIPS.

Peak Native MIPS podaje teoretycznie maksymalną liczbę wykonań pewnej "przeciętnej instrukcji" w ciągu sekundy, ale nie specyfikuje metody pomiaru. Nie jest też ściśle określone pojęcie instrukcji "przeciętnej".

Dhrystone MIPS jest to iloraz prędkości wykonania pewnego testu na badanym komputerze do wyniku osiągniętego na komputerze wzorcowym VAX 11/780. Jest kilka wersji testów Dhrystone, a wynik zależy od wersji testu.

Relative MIPS definiowany jest analogicznie jak Dhrystone, tyle że zestaw programów składający się na test wybiera sam producent badanego sprzętu.

Miernik MIPS nie jest więc jednoznaczny. Powstaje potrzeba zdefiniowania testów, których wynik nie zależy od konkretnych producentów i wyrobów.

Proste testy standardowe

Komputery osobiste stanowią klasę komputerów dość jednorodną pod względem architektury i zastosowań. Pozwala to zdefiniować testy porównujące ich pracę w różnych zestawach i środowiskach operacyjnych. Jednym z przykładów takich testów jest rodzina programów firmowanych przez Ziff-Davis Benchmark Operation. Są to testy: PC Bench, WinBench, Winstone, MacBench, NetBench i ServerBench.

PC Bench mierzy wydajność dysku, monitora i procesora dla popularnych programów pracujących pod kontrolą DOS-u. WinBench mierzy szybkośc urządzeń pamięci dyskowej oraz operacji graficznych w środowisku MS Windows. Winstone, jeden z ciekawszych testów dla PC, badających sprawność komputerów jako całości. Monitoruje on pracę rzeczywistych aplikacji w środowisku MS Windows. Pozostałe testy mierzą sprawność komputerów w innych niż DOS środowiskach operacyjnych, czyli: Macintosh (MacBench), serwera plików (NetBench) oraz systemów sieciowych takich jak SCO Unix, Windows NT oraz NetWare (ServerBench). Powyższe testy są ciągle modyfikowane (obecnie na rynku pojawiły się edycje 1995 r.) ze względu na rozwój sprzętu i oprogramowania.