Niedawno Standard Performance Evaluation Corp. (SPEC) ogłosił nowy zestaw benchmarków - SPEC95, przeznaczonych do porównywania wydajności komputerów o różnych rozwiązaniach architektonicznych.

Zestaw SPEC95 opracowała grupa Open System Group, zrzeszająca ponad 30 dostawców komputerów, integratorów, wydawców i konsultantów z całego świata. Technika komputerowa rozwija się tak szybko, że każdy zestaw testów wydajności starzeje się w ciągu 2-3 lat. Pierwszy zestaw testów SPEC ogłosił w 1989 r., następny w 1992 r. Jednakże zestaw SPEC92 zestarzał się szybciej niż oczekiwano, gdyż twórcy kompilatorów nauczyli się produkować kod dający dobre wyniki w teście, niekoniecznie odzwierciedlone w programach aplikacyjnych. Obecny zestaw odzwierciedla zmiany w technologii komputerów i kompilatorów.

Zestaw SPEC95 zawiera pakiet do testowania wydajności obliczeń stałoprzecinkowych CINT95 i pakiet do testowania wydajności obliczeń zmiennoprzecinkowych CFP95. Te dwa zestawy mierzą wydajność procesora, rozwiązań architektonicznych komputera i jakość kompilatora. Doświadczenia z poprzednimi zestawami zaowocowały większym zróżnicowaniem aplikacji i większym czasem wykonywania testów. Poprzedni zestaw będzie powoli wycofywany a poczynając od czerwca 1996 r. SPEC nie będzie już podawać wyników SPECint92 i SPECfp92. SPEC95 nadaje się do pomiaru wydajności komputerów jedno- i wieloprocesorowych SMP oraz gron komputerów.

Jako komputer odniesienia wybrano Sun SPARCstation 10/40 z pamięcią 128 MB i kompilatorem Sun SC3.0.1. Z definicji, wartości SPECint_95, jak SPECfp_95 uzyskane na tej maszynie mają wartość 1.

Reguły SPEC95 pozwalają na publikowanie podstawowych i optymalizowanych wyników wydajności; reguły są jednak bardziej restrykcyjne jeśli chodzi o optymalizację programów niż SPEC92: publikowanie wyników podstawowych jest obowiązkowe, optymalizowanych - do uznania producenta sprzętu.

SPEC95 pozwala na pomiar zarówno samej wydajności, pokazującej jak szybko komputer wykonuje konkretne obliczenie stałoprzecinkowe (SPECint_95) czy zmiennoprzecinkowe (SPECfp_95), jak stosunku wydajności SPECint_rate95, pokazującej ile prac jest wykonywanych w określonym czasie.

Zestaw CINT95 zawiera osiem programów testujących wydajność obliczeń stałoprzecinkowych, jest napisany w języku C i służy do oceny i obliczania następujących wyników.

- SPECint95 - średnia geometryczna ośmiu znormalizowanych wydajności, uzyskanych przy agresywnym ustawieniu optymalizacji kompilatora.

- SPECint_base95 - średnia geometryczna ośmiu znormalizowanych wydajności, uzyskanych przy konserwatywnym ustawieniu optymalizacji kompilatora.

- SPECint_rate95 - średnia geometryczna ośmiu znormalizowanych stosunków wydajności, uzyskanych przy agresywnym ustawieniu optymalizacji kompilatora.

- SPECint_base_rate95 - średnia geometryczna ośmiu znormalizowanych stosunków wydajności, uzyskanych przy konserwatywnym ustawieniu optymalizacji kompilatora.

Zestaw CFP95 zawiera 10 programów testujących wydajność obliczeń zmiennoprzecinkowych, jest napisany w języku FORTRAN i służy do oceny oraz obliczania następujących wyników.

- SPECfp95 - średnia geometryczna 10 znormalizowanych wydajności, uzyskanych przy agresywnym ustawieniu optymalizacji kompilatora.

- SPECfp_base95 - średnia geometryczna 10 znormalizowanych wydajności, uzyskanych przy konserwatywnym ustawieniu optymalizacji kompilatora.

- SPECfp_rate95 - średnia geometryczna 10 znormalizowanych stosunków wydajności, uzyskanych przy agresywnym ustawieniu optymalizacji kompilatora.

- SPECfp_base_rate95 - średnia geometryczna 10 znormalizowanych stosunków wydajności, uzyskanych przy konserwatywnym ustawieniu optymalizacji kompilatora.

Programy

Interesujący jest zestaw programów zawarty w każdym zestawie. I tak zestaw CINT95 zawiera m.in. program z dziedziny sztucznej inteligencji do gry w starą chińsko-japońską grę Go, kompresję i dekompresję plików w pamięci, intepreter LISP-u, kompresję i dekompresję grafiki, program bazy danych i program do tworzenia anagramów.

Zestaw CFP95 zawiera m.in. model przepływu wody na siatce 1024 x 1024, symulację Monte Carlo z dziedziny fizyki kwantowej, analizę równania Naviera-Stokesa, turbulencję w przestrzeni, zadania z chemii kwantowej i fizyki plazmy.

Czas testowania; wyniki

Jak pokazały wyniki działania programów na komputerze odniesienia dla pełnego testowania, z trzema powtórzeniami każdego testu, potrzeba ok. dwóch dni.

SPEC zamierza co kwartał publikować SPEC Newsletter, zawierający dostępne wyniki testowania komputerów.

Szefem projektu, odpowiedzialnym za zestaw testów SPEC95 jest (znany także w Polsce ze swych książek) Jeff Reilly z firmy Intel.

Dostępność i cena

Zestaw testów SPEC95 jest dostępny na CD-ROM od administratora SPEC w National Computer Graphics Association (NCGA, 2722 Merilee Drive, Ste. 200, Fairfax, VA 22031, USA, tel.703 698 96 04 ext. 325, e-mail: [email protected]) za cenę 600 USD dla nowego użytkownika, 300 USD dla uczelni oraz za połowę tych cen dla zarejestrowanych nabywców SPEC92.