Testy wydajności przetwarzania transakcyjnego

Benchmarki wymyślono po to, by pomóc użytkownikom w określeniu, jak szybko mogą działać ich aplikacje.

Benchmarki wymyślono po to, by pomóc użytkownikom w określeniu, jak szybko mogą działać ich aplikacje.

Obecnie część użytkowników, szczególnie tych mniej doświadczonych, stoi przed nie lada problemem, gdyż różne grupy interesów preferują różne testy. Aby uniknąć pomyłki, użytkownik musi wiedzieć co, tak naprawdę, mierzy każdy z nich. Organizacją specjalizującą się w opracowywaniu benchmarków jest Transaction Processing Council (TPC). Spośród pięciu publikowanych przez nią rodzajów testów - TPC-A, TPC-B, TPC- C, TPC-D i TPC-E - najpopularniejsze są trzeci i czwarty. Wszystkie mają pomóc potencjalnym klientom w porównaniu konkurencyjnych systemów DBMS.

Benchmarki TPC-A i TPC-B są bardzo do siebie podobne. TPC-A jest oparty na usługach związanych z intensywnym uaktualnianiem bazy danych w środowisku OLTP, podczas gdy TPC-B działa w środowisku batchowym. Ostatnio oba stały się na tyle przestarzałe, że zaniechano ich publikacji.

Opracowanie benchmarku TPC-C, znacznie bardziej zaawansowanego od poprzednich, zajęło ponad trzy lata i pochłonęło dziesiątki tysięcy dolarów. Test reprezentuje dowolną jednostkę biznesową, która zarządza, sprzedaje lub dystrybuuje produkty bądź usługi, przy czym pięć różnych transakcji jest wykonywanych jednocześnie. Obiektem pomiarów jest stosunek ceny do wydajności dla złożonego przetwarzania transakcyjnego (koszt na transakcję na minutę lub $/tpmC).

Dwa nowe benchmarki, które zadebiutowały w 1995 r., to TPC-D i TPC-E, z których bardziej popularny jest pierwszy, przeznaczony dla systemów wspomagających podejmowanie dużych systemów OLTP, jest przeznaczony do testowania aplikacji dla przedsiębiorstw.

TPC-D dla systemów DSS

Wspomaganie podejmowania decyzji (DSS) jest obecnie gwałtownie rozwijającą się klasą aplikacji biznesowych charakteryzującą się niewielką liczbą użytkowników wykonujących złożone zapytania na dużej bazie danych. Różni się ona istotnie od innych środowisk komercyjnych, takich jak przetwarzanie transakcyjne (OLTP), charakteryzujące się tym, że transakcje wspomagające zakończenie operacyjnej części biznesu są wykonywane w szybkim tempie przez wielu użytkowników.

TPC-D, jako dedykowany systemom DSS, różni się od innych benchmarków tym, że skupia swoją uwagę raczej na analitycznej, a nie na operacyjnej stronie biznesu. Test modeluje analityczne operacje biznesowe, polegające na kolejkowaniu danych, wyprodukowanych przez aplikacje OLTP, w celu analizy trendów i dodania ich w charakterze parametrów do procesów podejmowania decyzji. Doświadczenia wykazały, że istotny wpływ na wynik w tym teście ma dobrze zaprojektowana równoległa struktura bazy danych.

Kwerendy TPC-D

17 kwerend, które składają się na benchmark, są reprezentatywną próbką zarówno w zakresie złożoności, jak i czasu wykonania, pochodzącą z aplikacji DSS. Są one związane z działaniami biznesowymi, takimi jak ustalanie cen i akcje promocyjne, zarządzanie dostawami i zamówieniami, raportowanie obrotów i zysków, ocena zadowolenia klienta oraz analiza udziałów w rynku. (np. "określ reakcję rynku na kampanię promocyjną").

Dane dla testów TPC-D

Benchmark został tak opracowany, by uwzględnić fakt, że w obszarze wspomagania podejmowania decyzji zbiór danych jest równie ważny, jak złożoność kwerend. Moc systemu może więc być wykorzystana zarówno w procesie przetwarzania większej liczby danych, bardziej złożonych kwerend czy też większej ich liczby. Z tego też powodu sponsorzy testu mogą wybrać rozmiar bazy danych, na której będą dokonywać pomiarów (nie może on być jednak mniejszy niż 1 GB i większy niż 1 TB). Mogą także wybrać liczbę użytkowników zadających kwerendy.

Pomiary TPC-D

Benchmark dokonuje trzech podstawowych pomiarów:

Qppd (query processing power metric), którego zadaniem jest zbadanie szybkości wykonania kwerend przy założeniu, że cała dostępna moc systemu jest przydzielana do wykonania tylko jednej kwerendy.

QthD (query processing throughput metric), którego zadaniem jest zbadanie optymalnej liczby kwerend, na które system jest w stanie odpowiedzieć w ciągu godziny.

Wyniki dwóch poprzednich testów są podstawą do obliczenia stosunku ceny do wydajności systemu (koszt na kwerendę na godzinę lub USD/QphD). (liczonej jako 5-letni ogólny koszt posiadania systemu).

W skład nazwy pomiarów wchodzi także rozmiar bazy używanej do testów. Przykładowo: QppD 10 GB oznacz wykonanie testu QppD wykonanego na bazie danych o pojemności 10 GB.

Szybkość budowy bazy danych

Benchmark TPC-D podaje także informację o szybkości, z jaką została zbudowana testowa baza danych. Od sponsorów testu wymaga się bowiem dostarczenia informacji o czasie potrzebnym do stworzenia bazy danych i wypełnienia jej predefiniowanym zbiorem rekordów. Informacja ta, dająca użytkownikom wgląd w efektywność systemu przy budowaniu nowej bazy danych, jest często niezbędna przy wspomaganiu podejmowania decyzji.


TOP 200