Co mówią benchmarki?

Wieloserwerowa i wieloprocesorowa kombinacja złożona z rozwiązań Intela, Compaqa i Microsoftu uzyskała najlepszy wynik w testach TPC-C.

Wieloserwerowa i wieloprocesorowa kombinacja złożona z rozwiązań Intela, Compaqa i Microsoftu uzyskała najlepszy wynik w testach TPC-C.

Powiększ

W powszechnej opinii nieograniczoną skalowalność aplikacji zapewnia tylko system Unix. To jeden z powodów, dla których wiele przedsiębiorstw wybiera platformy unixowe, droższe i bardziej złożone od serwerów z procesorami Intela, pracującymi pod kontrolą Windows. Wyniki wydajności uzyskane podczas testów TPC-C na sprzęcie Compaqa podważyły tę opinię. Co więcej, dwa najwydajniejsze systemy w rankingu TPC-C nie wykorzystują bazy danych Oracle'a czy Sybase'a, lecz Microsoft SQL Server 2000.

Jak mierzyć wydajność?

Pomiar wydajności aplikacji biznesowej to jeden z najbardziej kontrowersyjnych tematów w informatyce. Wiele narzędzi pozwala zmierzyć wydajność poszczególnych składników systemu: procesora, bazy danych lub maszyny wirtualnej Java. Wyniki te są jednak traktowane z przymrużeniem oka przez specjalistów znających problemy biznesu. Ze szczególną krytyką spotykają się benchmarki. Najważniejszym wobec nich zarzutem jest to, że pomiar wydajności odbywa się w sztucznie stworzonych warunkach laboratoryjnych.

Wydajność systemu komputerowego zależy od łącznej wydajności trzech składników: sprzętu, systemu operacyjnego i aplikacji. Kompleksowy benchmark musi więc uwzględniać te czynniki i symulować rzeczywiste obciążenie, aby można było przewidzieć, jak te składniki systemu będą funkcjonować - ilu jednoczesnych użytkowników może w systemie realizować transakcje. W celu uzyskania porównywalnych wyników, symulowane obciążenie transakcyjne musi być takie samo w różnych testowanych systemach.

Standardy przemysłowe

Przedstawione w tabeli wyniki uzyskano, posługując się standardowym testem TPC-C, opracowanym przez konsorcjum Transaction Processing Council (TPC). TPC jest organizacją typu non-profit, zajmującą się opracowaniem specyfikacji do pomiaru wydajności baz danych i wydajności transakcyjnej. Członkowie konsorcjum opracowują benchmarki na podstawie tych specyfikacji.

Najważniejszą cechą testów TPC jest użycie jednakowych dla wszystkich platform scenariuszy, imitujących działanie aplikacji biznesowych.

Najważniejszą cechą testów TPC jest użycie jednakowych dla wszystkich platform scenariuszy, imitujących działanie aplikacji biznesowych. Na przykład TPC-C dla systemu realizacji zamówień określa dokładnie wymagania obciążenia aplikacji, szczegółową symulację sposobu wprowadzania danych przez operatora oraz realizację zamówień z różnych hurtowni produktów, posługując się spójną strukturą bazy danych. TPC-C wskazuje liczbę transakcji realizacji zamówień na minutę oraz ocenia ich koszt dla danej kombinacji sprzętowo-programowej. Trzeba jednak pamiętać, że wyniki w rzeczywistym systemie mogą znacznie różnić się od wyników testu. Mimo to wyniki testu TPC pozwalają ocenić możliwości systemu.

Jeżeli firma informatyczna decyduje się na przeprowadzenie testu wydajności swojego produktu, musi zgodzić się na umieszczenie wyników na stronie TPC (www.tpc.org) oraz opublikować informacje dotyczące środowiska testowego. Test jest obserwowany przez audytora TPC. W ciągu ostatnich kilku lat opublikowano wyniki benchmarków TPC-C wielu różnych kombinacji sprzętu, systemów ope racyjnych i baz danych. Jednym z ostatnich uczestników tych testów był Compaq.

Wyzwanie dla Unixa

Do niedawna wyniki testów TPC-C plasowały Unixa w czołówce najwydajniejszych systemów. Aż do listopada 1999 r. sprzęt Bulla, Compaqa, Hewlett-Packarda, IBM-a i Suna z unixowymi systemami zajmował czołowe pozycje na liście. Systemy z procesorami Intela zdecydowanie przegrywały ze sprzętem z RISC. Wydawało się, że systemy z RISC mają inherentną zaletę, której sprzęt intelowski nie może pokonać. Wśród aplikacji dominowały Oracle8 i Oracle8i, stosowane w 8 spośród 10 najwydajniejszych systemów. Konkurencją dla Oracle'a były jedynie bazy Sybase Adaptive Enterprise Server 11/12, a daleko za nimi IBM DB2 na AS/400 i Microsoft SQL Server.

Testy TPC-C, wykonane przez Compaqa na nowej linii intelowskich serwerów Compaq ProLiant 8500, działających pod kontrolą Windows 2000 Advanced Server i SQL Server 2000, położyły kres dominacji Unix/Oracle - przynajmniej w środowisku testowym. Klastry złożone z 12 i 8 komputerów Compaq ProLiant 8500 (odpowiednio: 96 i 64 procesory) zajęły pierwsze i drugie miejsce w benchmarku TPC-C.

Klaster kłamie

Wyniki Compaqa są obecnie weryfikowane przez członków konsorcjum TPC. Jeżeli audytorzy nie dopatrzą się błędów, można spodziewać się ciekawych interpretacji. Po pierwsze, informatycy, którzy budowali systemy na bazie Windows, będą mogli migrować do rozwiązań najwyższej klasy. Na pewno pojawią się również głosy, że optymizm zwolenników platformy Intel/Windows jest przedwczesny. Aby korzystać z dużej skalowalności, wymagane są olbrzymie inwestycje w sprzęt i oprogramowanie.

Interesujące są uzyskane przez Compaqa wyniki także pod względem możliwości sprzętowych. Test TPC-C mierzy skumulowaną wydajność wszystkich składników systemu. W teście wykorzystano 8-procesorowe serwery Compaq ProLiant 8500. Połączone w klastry 8- i 12-węzłowe sprawowały się lepiej niż system unixowy. Trzeba jednak pamiętać, że powielenie takiej konfiguracji w warunkach przemysłowych nie będzie łatwe. Klastry trudniej jest dostroić niż pojedynczy system. Wiele przedsiębiorstw będzie raczej preferować mniej skomplikowane rozwiązania architektoniczne, zapewniające zbliżoną wydajność.

Compaq zamierza oferować serwery 32-procesorowe. Klaster będzie więc miał 256 procesorów. I choć cena i data wprowadzenia nie są jeszcze znane, to można oczekiwać, że tego typu rozwiązania przekroczą kolejną granicę wydajności transakcyjnej sprzętu intelowskiego.

Żadna firma nie dokonuje wyboru platformy dla swoich aplikacji wyłącznie na podstawie wyników benchmarków, bo znacznie ważniejsza jest znajomość platformy i zgodność z już używanymi systemami. Niemniej wyników testów TPC-C nie da się zignorować, gdyż wskazują one wyraźnie, że Microsoft SQL Server, Windows i sprzęt z procesorami Intela stają się równorzędnymi konkurentami dla maszyn Unix i OS/400 oraz baz danych Oracle'a, Informixa i Sybase'a.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200