Power Meter dla testowania sprawności komputerów

W nr. 21 CW publikowaliśmy tymczasową instrukcję w sprawie zasad i trybu przeprowadzania przetargów na dostawy sprzętu komputerowego na rzecz skarbu państwa oraz innych podmiotów zasilanych z budżetu państwa i budżetu gmin. Nabywany sprzęt musi być sprawny. Stosowany nieraz w tym celu pakiet testowy (benchmark) ma - jak wykazuje praktyka - istotne słabości. W gruncie rzeczy sprawdza on tylko to, jak dany komputer przystosowany jest do testu benchmarku. Inną jego wadą jest łatwość manipulowania wynikami uzyskanymi przy jego pomocy.

W nr. 21 CW publikowaliśmy tymczasową instrukcję w sprawie zasad i trybu przeprowadzania przetargów na dostawy sprzętu komputerowego na rzecz skarbu państwa oraz innych podmiotów zasilanych z budżetu państwa i budżetu gmin. Nabywany sprzęt musi być sprawny. Stosowany nieraz w tym celu pakiet testowy (benchmark) ma - jak wykazuje praktyka - istotne słabości. W gruncie rzeczy sprawdza on tylko to, jak dany komputer przystosowany jest do testu benchmarku. Inną jego wadą jest łatwość manipulowania wynikami uzyskanymi przy jego pomocy.

Po zapoznaniu się z wynikami licznych testów, Biuro Informatyki Urzędu Rady Ministrów przygotowało również materiały instruktażowe dotyczące testowania. Zawierają one dane dotyczące następujących programów pomiarowych:

POWER METER (opracowany przez The Data Base Group)

CORETEST (produkcji firmy Core - do oceny wydajności dysków niewymiennych) oraz

ATPERF (opracowany i używany przez czasopismo PC Tech Journal dla standardowego modelu IBM PC/AT z zegarem 8 MHz, do oceny parametrów jego procesora, pamięci operacyjnej, pamięci stałej BIOS i wyświetlacza).

Zdaniem wicedyrektora Biura, Witolda Łuczywo, POWER METER jest bez wątpienia najbardziej zaawansowanym systemem pomiarowym spośród omawianych. Składa się on z trzech części:

- programu PM, służącego do wykonywania pomiarów, zbierania danych i prezentacji wyników;

- bazy danych pomiarowych w postaci dwóch zbiorów PMDB.DAT oraz PMINDEX.DAT;

- programu PMUTIL, służącego do konserwacji bazy danych (usuwania rekordów, selektywnego łączenia dwóch baz w jedną).

System ten ma strukturę hierarchiczną. Zakres mierzonych wskaźników podzielony jest na kategorie. W każdej z nich wyodrębnione są wskaźniki elementarne oraz wskażnik syntetyczny, reprezentujący całą kategorię.

Kategoria oceny wydajności procesora i pamięci operacyjnej obejmuje następujące wskażniki wydajności:

- częstotliwość zegara procesora;

- Mips - umowną ocenę wydajności procesora, wyrażoną w liczbie milionów operacji na sekundę (Mega Instructions Per Second), wykonanych w ramach testowej mieszanki operacji, tej samej co w teście DHRYSTONE. Wynik jest przeskalowany w taki sposób, że procesor komputera VAX-11/780 ma w tej skali wydajność 1 MIPS (VAX/Mips);

- Dhrystone - liczba wykonań wzorcowej mieszanki operacji stałoprzecinkowych, tworzących test DHRYSTONE;

- Whetstone - liczba wykonań wzorcowej mieszanki operacji zmiennoprzecinkowych, tworzących test WHETSTONE; w przypadku braku koprocesora arytmetycznego (80x87), test ten wykonywany jest przy użyciu oprogramowania emulacji rozkazów zmiennoprzecinkowych;

- Sieve - liczba wykonań wzorcowej mieszanki rozkazów stałoprzecinkowych - generacja liczb pierwszych algorytmem sita Eratostenesa; test bada również czas dostępu do tablic w pamięci operacyjnej;

- szybkość działania pamięci typu EMS (jeśli jest zainstalowana w komputerze);

- wskaźnik ogólnej wydajności, będący sumą następujących wskaźników: Dhrystone 50% Sieve 40% Whetstone 10%

Kategoria oceny wydajności dysków obejmuje:

- pomiar czasu przesuwania głowic między sąsiednimi cylindrami

- średni czas ruchu głowic między odległymi cylindrami (wyznaczany jako czas - ruch głowic w zakresie 1/3 rozmiaru dysku)

- szybkość transmisji danych z dysku przy operacji odczytu;

- czas otwierania i zamykania zbioru za pośrednictwem systemu DOS;

- sekwencyjny odczyt oraz zapis danych na dysku (proporcje odczytów do zapisów - 20:1);

- wyrywkowy ("random") odczyt i zapis danych na dysku (w proporcji jw.)

- wskaźnik ogólnej wydajności, będący sumą ważoną następujących wskaźników: ruch do sąsiedniego cylindra 20% ruch między cylindrami 30% szybkość transmisji danych 50%

Dla wykonanaia testów - sekwencyjnego i wyrywkowego dostępu do danych tworzy się zbiór roboczy o rozmiarze 1 Mb. Jeśli buforowanie operacji dyskowych nie zapewnia tak dużego bufora, nie wpływa na ocenę wydajności dysku. Buforowanie to ma jedynie wpływ na wartość wskaźnika szybkości transmisji.

Ocena wydajności sterownika wyświetlacza obejmuje:

- pomiar szybkości zapisu tekstu na ekranie w trybie znakowym;

- pomiar szybkości kreślenia linii na ekranie (w trybie graficznym);

- pomiar szybkości wypełniania obszarów między liniami w trybie graficznym;

- wskaźnik ogólnej wydajności, będący sumą ważoną następujących wskaźników: wprowadzanie znaków w trybie tekstowym 50% wprowadzanie znaków w trybie graficznym 25% wprowadzanie punktów w trybie graficznym 25%

W ramach tej kategorii testów wykonywać można również ocenę jakościową wyświetlacza - bez rejestracji wyników ilościowych.

Ostatnia kategoria wskaźników ma przypuszczalnie największe znaczenie praktyczne. W jej ramach wykonuje się ocenę wydajności komputera w określonym typie zastosowań, a mianowicie:

- symulacja pracy z arkuszem kalkulacyjnym, skomponowana z następujących wskaźników: ogólna ocena pamięci 10% pamięć Expanded (jeśli jest) 5% wprowadzanie znaków na ekran 30% wyznaczanie adresu pola w arkuszu 20% wyznaczanie formuł arkusza 30% ogólna ocena dysku 5%

- symulacja pracy z procesorem tekstów o następującym układzie: ogólna ocena pamięci 10% wprowadzanie znaków na ekran 45% wyszukiwanie wzorca tekstowego 10% test Dhrystone 30% ogólna ocena dysku 5%

- symulacja pracy z bazą danych:

ogólna ocena pamięci 20% wprowadzanie znaków na ekran 10% test Mips 20% test sortowania 15% ogólna ocena dysku 35%

- symulacja pracy z programem typu CAD:

ogólna ocena pamięci 10% wprowadzanie punktów na ekran 40% test Dhrystone 15% test Whetstone 30% ogólna ocena dysku 5%

- przepustowość systemu praca w warunkach tworzenia oprogramowania:

ogólna ocena pamięci 10% wprowadzanie znaków na ekran 5% wyznaczanie wartości formuł 20% test Dhrystone 35% ogólna ocena dysku 30%

- wskaźnik ogólnej wydajności sprzętu systemu, złożony z wyników wyżej wymienianych w następujących proporcjach:

ogólna ocena pamięci 20% ocena pamięci Expanded 10% ogólna ocena procesora 30% ogólna ocena wyświetlacza 20% ogólna ocena dysku 20%

Pełne teksty materiałów znajdują się w Biurze Informatyki URM, W-wa, al. Ujazdowskie 3, tel. 6946859.