Power Meter dla testowania sprawności komputerów
- Computerworld,
- 06.07.1992
W nr. 21 CW publikowaliśmy tymczasową instrukcję w sprawie zasad i trybu przeprowadzania przetargów na dostawy sprzętu komputerowego na rzecz skarbu państwa oraz innych podmiotów zasilanych z budżetu państwa i budżetu gmin. Nabywany sprzęt musi być sprawny. Stosowany nieraz w tym celu pakiet testowy (benchmark) ma - jak wykazuje praktyka - istotne słabości. W gruncie rzeczy sprawdza on tylko to, jak dany komputer przystosowany jest do testu benchmarku. Inną jego wadą jest łatwość manipulowania wynikami uzyskanymi przy jego pomocy.
W nr. 21 CW publikowaliśmy tymczasową instrukcję w sprawie zasad i trybu przeprowadzania przetargów na dostawy sprzętu komputerowego na rzecz skarbu państwa oraz innych podmiotów zasilanych z budżetu państwa i budżetu gmin. Nabywany sprzęt musi być sprawny. Stosowany nieraz w tym celu pakiet testowy (benchmark) ma - jak wykazuje praktyka - istotne słabości. W gruncie rzeczy sprawdza on tylko to, jak dany komputer przystosowany jest do testu benchmarku. Inną jego wadą jest łatwość manipulowania wynikami uzyskanymi przy jego pomocy.
Po zapoznaniu się z wynikami licznych testów, Biuro Informatyki Urzędu Rady Ministrów przygotowało również materiały instruktażowe dotyczące testowania. Zawierają one dane dotyczące następujących programów pomiarowych:
POWER METER (opracowany przez The Data Base Group)
CORETEST (produkcji firmy Core - do oceny wydajności dysków niewymiennych) oraz
ATPERF (opracowany i używany przez czasopismo PC Tech Journal dla standardowego modelu IBM PC/AT z zegarem 8 MHz, do oceny parametrów jego procesora, pamięci operacyjnej, pamięci stałej BIOS i wyświetlacza).
Zdaniem wicedyrektora Biura, Witolda Łuczywo, POWER METER jest bez wątpienia najbardziej zaawansowanym systemem pomiarowym spośród omawianych. Składa się on z trzech części:
- programu PM, służącego do wykonywania pomiarów, zbierania danych i prezentacji wyników;
- bazy danych pomiarowych w postaci dwóch zbiorów PMDB.DAT oraz PMINDEX.DAT;
- programu PMUTIL, służącego do konserwacji bazy danych (usuwania rekordów, selektywnego łączenia dwóch baz w jedną).
System ten ma strukturę hierarchiczną. Zakres mierzonych wskaźników podzielony jest na kategorie. W każdej z nich wyodrębnione są wskaźniki elementarne oraz wskażnik syntetyczny, reprezentujący całą kategorię.
Kategoria oceny wydajności procesora i pamięci operacyjnej obejmuje następujące wskażniki wydajności:
- częstotliwość zegara procesora;
- Mips - umowną ocenę wydajności procesora, wyrażoną w liczbie milionów operacji na sekundę (Mega Instructions Per Second), wykonanych w ramach testowej mieszanki operacji, tej samej co w teście DHRYSTONE. Wynik jest przeskalowany w taki sposób, że procesor komputera VAX-11/780 ma w tej skali wydajność 1 MIPS (VAX/Mips);
- Dhrystone - liczba wykonań wzorcowej mieszanki operacji stałoprzecinkowych, tworzących test DHRYSTONE;
- Whetstone - liczba wykonań wzorcowej mieszanki operacji zmiennoprzecinkowych, tworzących test WHETSTONE; w przypadku braku koprocesora arytmetycznego (80x87), test ten wykonywany jest przy użyciu oprogramowania emulacji rozkazów zmiennoprzecinkowych;
- Sieve - liczba wykonań wzorcowej mieszanki rozkazów stałoprzecinkowych - generacja liczb pierwszych algorytmem sita Eratostenesa; test bada również czas dostępu do tablic w pamięci operacyjnej;
- szybkość działania pamięci typu EMS (jeśli jest zainstalowana w komputerze);
- wskaźnik ogólnej wydajności, będący sumą następujących wskaźników: Dhrystone 50% Sieve 40% Whetstone 10%
Kategoria oceny wydajności dysków obejmuje:
- pomiar czasu przesuwania głowic między sąsiednimi cylindrami
- średni czas ruchu głowic między odległymi cylindrami (wyznaczany jako czas - ruch głowic w zakresie 1/3 rozmiaru dysku)
- szybkość transmisji danych z dysku przy operacji odczytu;
- czas otwierania i zamykania zbioru za pośrednictwem systemu DOS;
- sekwencyjny odczyt oraz zapis danych na dysku (proporcje odczytów do zapisów - 20:1);
- wyrywkowy ("random") odczyt i zapis danych na dysku (w proporcji jw.)
- wskaźnik ogólnej wydajności, będący sumą ważoną następujących wskaźników: ruch do sąsiedniego cylindra 20% ruch między cylindrami 30% szybkość transmisji danych 50%
Dla wykonanaia testów - sekwencyjnego i wyrywkowego dostępu do danych tworzy się zbiór roboczy o rozmiarze 1 Mb. Jeśli buforowanie operacji dyskowych nie zapewnia tak dużego bufora, nie wpływa na ocenę wydajności dysku. Buforowanie to ma jedynie wpływ na wartość wskaźnika szybkości transmisji.
Ocena wydajności sterownika wyświetlacza obejmuje:
- pomiar szybkości zapisu tekstu na ekranie w trybie znakowym;
- pomiar szybkości kreślenia linii na ekranie (w trybie graficznym);
- pomiar szybkości wypełniania obszarów między liniami w trybie graficznym;
- wskaźnik ogólnej wydajności, będący sumą ważoną następujących wskaźników: wprowadzanie znaków w trybie tekstowym 50% wprowadzanie znaków w trybie graficznym 25% wprowadzanie punktów w trybie graficznym 25%
W ramach tej kategorii testów wykonywać można również ocenę jakościową wyświetlacza - bez rejestracji wyników ilościowych.
Ostatnia kategoria wskaźników ma przypuszczalnie największe znaczenie praktyczne. W jej ramach wykonuje się ocenę wydajności komputera w określonym typie zastosowań, a mianowicie:
- symulacja pracy z arkuszem kalkulacyjnym, skomponowana z następujących wskaźników: ogólna ocena pamięci 10% pamięć Expanded (jeśli jest) 5% wprowadzanie znaków na ekran 30% wyznaczanie adresu pola w arkuszu 20% wyznaczanie formuł arkusza 30% ogólna ocena dysku 5%
- symulacja pracy z procesorem tekstów o następującym układzie: ogólna ocena pamięci 10% wprowadzanie znaków na ekran 45% wyszukiwanie wzorca tekstowego 10% test Dhrystone 30% ogólna ocena dysku 5%
- symulacja pracy z bazą danych:
ogólna ocena pamięci 20% wprowadzanie znaków na ekran 10% test Mips 20% test sortowania 15% ogólna ocena dysku 35%
- symulacja pracy z programem typu CAD:
ogólna ocena pamięci 10% wprowadzanie punktów na ekran 40% test Dhrystone 15% test Whetstone 30% ogólna ocena dysku 5%
- przepustowość systemu praca w warunkach tworzenia oprogramowania:
ogólna ocena pamięci 10% wprowadzanie znaków na ekran 5% wyznaczanie wartości formuł 20% test Dhrystone 35% ogólna ocena dysku 30%
- wskaźnik ogólnej wydajności sprzętu systemu, złożony z wyników wyżej wymienianych w następujących proporcjach:
ogólna ocena pamięci 20% ocena pamięci Expanded 10% ogólna ocena procesora 30% ogólna ocena wyświetlacza 20% ogólna ocena dysku 20%
Pełne teksty materiałów znajdują się w Biurze Informatyki URM, W-wa, al. Ujazdowskie 3, tel. 6946859.