Czy benchmarki kłamią?

Subskrybuj RSS A A A
5 maja 2009
Marcin Marciniak

Dobór odpowiedniego algorytmu testowego ma poważny wpływ na rezultaty testów produktów. Czy więc benchmarki mówią prawdę o wydajności mierzonych rozwiązań?

Wydajność według SPEC
W testach wydajności CINT2006 (liczby całkowite) wyniki są następujące. PowerEdge M610 (Intel Xeon X5550, 2.67 GHz) osiąga wynik 29.2, ale PowerEdge M610 (Intel Xeon E5520, 2.27 GHz) osiąga 24.1. Gdy mierzy się wydajność obliczeń zmiennoprzecinkowych w teście CFP2006, Dell PowerEdge M610 (Intel Xeon E5540, 2.53 GHz) osiąga 31.4, a PowerEdge M610 (Intel Xeon X5550, 2.67 GHz) - 35.3 (wszystkie dane pochodzą ze strony www.specbench.org). Aplikacje testowe, które służą do badania wydajności różnych maszyn, są oferowane w sprzedaży przez organizację SPEC, z jednym wyjątkiem, którym jest SPECjvm2008 oferowany do pobrania w dziale Download. Są to dość kosztowne aplikacje, CPU2006 kosztuje 800USD, jAppServer2004 V1.08 kosztuje 2 tys. USD, SPECmail2009 - 1900 USD.
Potrzeba pomiaru wydajności obliczeniowej różnych maszyn jest tak stara, jak komputerowa technika obliczeniowa. Ponieważ subiektywne wrażenie prędkości obliczeń jest zawodne, opracowano szereg testów. W komputerach PC popularnością cieszyły się mierniki Dhrystones (benchmarki wykonujące ogólny zestaw instrukcji procesora, wynik określa ilość wykonań programu na sekundę) oraz Whetstones, który testował operacje zmiennoprzecinkowe. Te proste benchmarki zostały zastąpione przez zaawansowane pakiety, z których najpopularniejszymi są SYSmark oraz MobileMark firmy BAPCo. Test SYSmark określa wydajność maszyny w konkretnych zadaniach, takich jak e-learning, tworzenie wideo, zadania biurowe i zadania z grafiką 3D. Ponieważ kładą nacisk na podsystem grafiki i zadania typowe dla stacji roboczych, nie bardzo nadają się do pomiaru wydajności serwerów. Wynika to stąd, że serwery zazwyczaj posiadają słabsze podsystemy grafiki, bez zaawansowanej akceleracji 3D, gdyż na konsoli serwera nie uruchamia się produkcyjnych zadań wymagających trójwymiarowej grafiki. Ponadto SYSmark działa i mierzy jedynie komputery z desktopowymi systemami Windows, zatem nie można zmierzyć za ich pomocą wydajności maszyn z systemami Unix i Linux, pomiary środowiska serwerowego Windows nie będą w pełni wiarygodne.

Od Linpacka do benchmarku

Najpopularniejszym miernikiem wydajności dużych komputerów jest Linpack. Jest to test, który wykorzystuje bibliotekę o tej samej nazwie, służącą do obliczeń z dziedziny algebry liniowej. Biblioteka ta powstała w latach 70. XX wieku, została oprogramowana w Fortranie przez Jacka Dongarra, Jima Buncha, Cleve’a Molera i Pete’a Stewarta. Biblioteka Linpack rzadko bywa wykorzystywana w obliczeniach inżynierskich, gdyż podobny pakiet LAPACK działa sprawniej w środowisku superkomputerów.

Benchmark Linpack mierzy prędkość rozwiązywania gęstego układu równań liniowych i dobrze oddaje wydajność komputerów w typowych zadaniach inżynierskich z dużą ilością obliczeń zmiennoprzecinkowych. Stanowi on ważny wskaźnik szybkości komputera i jest podstawą rankingu najszybszych superkomputerów świata - TOP 500. Obecnie najszybszym komputerem w Polsce jest gdański klaster Galera (67. miejsce na świecie w rankingu TOP 500 to 38,17 Tflopów mierzonych za pomocą Linpacka), najszybszą maszyną jest Roadrunner zainstalowany w laboratoriach Los Alamos w Stanach Zjednoczonych z wynikiem 1105 Tflopów.

m.computerworld.pl - sprawdź mobilną wersję serwisu Computerworld
w swoim smartfonie.

Oceń artykuł

średnio: 0 liczba ocen: 0
1  2  3  dalej »
Podziel się |

Komentarze (0)

+Dodaj komentarz

Najpopularniejsze

Najnowsze

Państwo do konsolidacji

Państwo do konsolidacji
Obywatele uważają administrację publiczną za jeden organizm. W rzeczywistości jest to kilka tysięcy oddzielnych struktur, obrosłych biurokratycznymi naroślami. Czy można zracjonalizować działanie państwa? Jak w tym może pomóc informatyka?

Zarządzanie po japońsku

Zarządzanie po japońsku
W praktyce przemysłowej wypracowano szereg skutecznych metod zarządzania. Wiele powstało w Japonii. Dlaczego, mimo ich efektywności, nie zawsze są stosowane w biznesie?

e-Sąd z odsieczą sprawiedliwości

e-Sąd z odsieczą sprawiedliwości
Polski wymiar sprawiedliwości postrzegany jest jako skostniały i opieszały. Tymczasem kolejne e-usługi udostępniane przez Ministerstwo Sprawiedliwości ułatwiają życie przedsiębiorcom i usprawniają pracę sądów.

e-Zdrowie w Polsce i na świecie

e-Zdrowie w Polsce i na świecie
Projekty informatyzacji służby zdrowia realizowane są na świecie z różnym powodzeniem. Skąd Polska mogłaby czerpać wzorce? A może jesteśmy skazani na własne rozwiązania?

Raport Państwo 2.0, czyli nowa wizja informatyzacji państwa

Raport Państwo 2.0, czyli nowa wizja informatyzacji państwa
Michał Boni, minister administracji i cyfryzacji, zaprezentował raport "Polska 2.0. Nowy start dla e-administracji". Przedstawia on informacje na temat stanu realizacji projektów będących w gestii nowo utworzonego ministerstwa oraz prezentuje kierunki dalszych działań związanych z informatyzacją i cyfryzacją administracji publicznej w naszym kraju.

Cyberprzestępcy podążają za użytkownikami

Cyberprzestępcy podążają za użytkownikami
Już dwie na trzy polskie firmy odnotowały ataki lub awarie, które spowodowały spadek produkcji. Co trzecia firma utraciła dane. Liczba takich przypadków będzie rosła, bo hakerzy biorą na cel najbardziej masowe technologie. Szybko reagują też na zmiany w firmowej architekturze.

Jak zaplanować karierę w branży IT

Jak zaplanować karierę w branży IT
Doświadczenia łączone na różnych stanowiskach w firmach o odmiennych profilach są szczególnie cenione przez pracodawców. Dlatego warto głęboko przeanalizować możliwości rozwoju kariery, które obecnie stwarza rynek IT.

Rekomendacje



Serwisy IDG - Warunki obsługi - Kontakt - Redakcja - Regulamin - O nas - Polityka prywatności - Serwis zgodny z ASME
Reklama - Licencjonowanie treści - Prenumerata: Computerworld, Networld, PC World
Computerworld Polska i Computerworld Polska online są znakami towarowymi IDG Poland SA.
 © Copyright 2012 International Data Group Poland S.A. 04-204 Warszawa ul. Jordanowska 12 tel.(+4822)321-78-00 fax(+4822)321-78-88