Czy benchmarki kłamią?

Czy benchmarki kłamią?
Chociaż Linpack umożliwia ocenę wydajności superkomputerów, które często pracują nad skomplikowanymi obliczeniami z dziedziny algebry liniowej, nie oddaje wydajności wszystkich składników maszyny. Jest wrażliwy na częstotliwość taktowania zegara procesorów, gdyż obliczenia wykonywane podczas testu są "twardymi", zmiennoprzecinkowymi zestawami działań. Właśnie z tego powodu najnowsze procesory Intel Nehalem wypadają w takich miernikach gorzej niż procesory poprzedniej generacji, gdyż są taktowane zegarem o niższej częstotliwości. Wynika to z procesu rozwoju mikroprocesorów Intela, które w pierwszej kolejności podlegają usprawnieniom konstrukcji, a dopiero potem następuje proces podwyższania częstotliwości taktowania.

Wyniki podawane przez Intela dowodzą, że dwa procesory Intel Xeon X5560 osiągają w teście Linpack wydajność 76 Gflopów (miliardów obliczeń zmiennoprzecinkowych na sekundę), podczas gdy poprzedniej generacji procesory Intel Xeon E5472 osiągają 81 Gflopów. W obu przypadkach każdy rdzeń posiada jednostki obliczeniowe, zdolne wykonać w jednym takcie zegara 128-bitowe obliczenia. Można zatem założyć, że pojedynczy rdzeń procesora oblicza w jednym takcie zegara dwie, 64-bitowe, zmiennoprzecinkowe instrukcje ADD oraz dwie, 64-bitowe, zmiennoprzecinkowe instrukcje MUL. Teoretyczna wydajność wynikająca z przemnożenia tych liczb przez częstotliwość taktowania zegara daje 48 Gflopów w przypadku E5472 i 44,8 Gflopów dla procesora Nehalem. Jest to tylko wydajność teoretyczna, która nie oddaje prawdziwego obciążenia komputera podczas testów, ale zjawisko mniejszej wydajności nowszego procesora jest również obserwowane w wynikach benchmarku Linpack. Wszystkie innowacje wprowadzone w nowym procesorze nie wyrównują spadku wydajności masywnych obliczeń zmiennoprzecinkowych spowodowanych różnicą w częstotliwości taktowania zegara (3,0 GHz w E5472 i 2,8 GHz w Nehalem).

Jak widać, Linpack dobrze sprawdza się w przypadku superkomputerów, obliczeń inżynierskich i innych zadań badawczych, ale nie odzwierciedla praktycznej wydajności w typowych aplikacjach. Nowy procesor w zastosowaniach biznesowych jest szybszy od starego, co udowadniają testy praktyczne w prawdziwych środowiskach.

Wydajność w biznesie

W przypadku aplikacji biznesowych, standardem klasy enterprise jest uznawany system ERP firmy SAP, zatem poszukiwano narzędzia, które mierzyłoby wydajność maszyny przy obsłudze oprogramowania tej firmy. Miernik wydajności aplikacji biznesowych umożliwia pomiar w warunkach zbliżonych do rzeczywistej eksploatacji programu, gdyż zakłada obciążenie przez rzeczywiście wykonywane zadania. W ten sposób można również porównać wydajność maszyn różnych producentów, a nawet działających w różnych systemach operacyjnych i w innej architekturze. Dlatego na stronach SAP widnieją także dane maszyn działających w architekturze RISC (np. POWER czy SPARC64 VII), wykorzystujących różne bazy danych (Oracle 10g, DB2, SQL Server) i pracujących w różnych systemach operacyjnych (Windows, Linux, Solaris, AIX).

Tego typu porównanie, chociaż jest skoncentrowane na jednej aplikacji biznesowej, daje pogląd na pracę tego pakietu w środowisku możliwie zbliżonym do produkcyjnego. Z drugiej strony umożliwia oszacowanie zapotrzebowania na podstawie znanego obciążenia od standardowej aplikacji ERP. Wydajność mierzona za pomocą benchmarków producenta aplikacji daje pogląd na wydajność różnych maszyn w konkretnym zastosowaniu, co może mieć znaczenie przy wyborze platformy sprzętowej.


TOP 200