Z ankiety przeprowadzonej przez Puppet Labs w 2015 r. wynika, że dzięki stosowaniu się do praktyk DevOps działy IT aż 30 razy częściej wdrażają nowy kod i odbywa się to aż 200 razy szybciej (czas ten jest liczony od momentu przystąpienia do prac nad kodem do udanego wdrożenia go w środowisku produkcyjnym). Co bardzo istotne, takie tempo prac nad kodem nie wpływa negatywnie na stabilność. Przeciwnie, ankieta pokazała, że liczba nieudanych wdrożeń spadła o 60%, a średni czas przywracania (Mean Time To Recover, MTTR) skrócił się aż 168 razy.

Tempo pracy i stabilność kodu w parze

Wymienione parametry umożliwiają pokazanie, jaka jest relacja między metodologią DevOps, a wydajnością pracy IT. Przy okazji wyniki ankiety obaliły powszechnie panujące przekonanie o konieczności wyboru między szybkością pracy a stabilnością kodu. Okazało się, że pracujące bardzo wydajne zespoły IT, zgodnie z praktykami DevOps, są w stanie wytwarzać bardziej stabilny kod. To jeden z głównych powodów, który sprawił, że ta metodologia cieszy się obecnie dużym zainteresowaniem.

Opracowana przez Puppet Labs definicja wydajności IT obejmuje dwie z trzech wymienionych metryk. Trzecia z miar, czas przywracania, mierzy natomiast stabilność kodu. Jest to czas potrzebny na przywrócenie usługi do działania od momentu wystąpienia przerwy w jej działaniu (nieplanowany przestój, awaria usługi itd.).

Analitycy z Puppet Labs podzielili badane firmy na trzy grupy, w zależności od wydajności ich pracy: wysokiej, średniej i niskiej. Porównując otrzymane wyniki z tymi z poprzednich lat, zauważono kilka zaskakujących faktów. W firmach o wysokiej wydajności ich szybkość pracy praktycznie nie zmieniła się. Prawdopodobną przyczyną tego zjawiska nie jest jednak problem z efektywnym stosowaniem praktyk wdrożeniowych. Wąskim gardłem okazuje się kierownictwo, które nie jest w stanie jeszcze szybciej podejmować decyzji. Trzeba mieć to na uwadze, planując dalsze inwestycje w poprawę wydajności. IT nie działa przecież w próżni, a jego głównym celem jest służenie biznesowi.

Z drugiej strony firmy, które osiągnęły już wysoki poziom wydajności, wciąż mogą liczyć na dalsze korzyści ekonomiczne, tym razem wynikające z inwestowania w poprawę stabilności. Wspomniane badania Puppet Labs pokazują, że tak faktycznie się dzieje. W ciągu roku firmy o wysokiej wydajności pracy ponad trzykrotnie skróciły czas przywracania.

Dobór metryk wydajności

Metryk, którymi można mierzyć sukces, jest więcej, a każda organizacja z reguły tworzy własny zestaw. Przed dobraniem świeżych parametrów warto jednak przejrzeć dotychczas używane metryki i ocenić ich przydatność pod kątem DevOps. Na szczególną uwagę zasługują te, które wpisują się w zasady tej metodologii, jak dostarczanie wartości biznesowych. Robiąc przegląd starych metryk i dobierając nowe, trzeba pamiętać, że typowym błędem jest mierzenie zbyt wielu elementów.

Dobór właściwych metryk ułatwi sprawdzenie ich pod kątem następujących kryteriów:

• osiągalne – niektóre metryki mogą być trudne do uzyskania lub przeliczenia, np. dotyczące poprawy kultury pracy. Trzeba więc szukać różnych powiązanych danych, które to ułatwią (np. rotacja pracowników jest wskaźnikiem morale w firmie).
• weryfikowalne – każdą metrykę trzeba sprawdzić pod kątem przydatności, aby wyeliminować, np. te, które łatwo się mierzy, ale nie mają istotnej wartości.
• nieprzekupne — sprawdzenia wymaga, czy na metryki mogą mieć wpływ stronnicze działania pracowników lub zespołów. Trzeba poszukać czynników, które mogą przeciwdziałać korzyściom z DevOps.
• znajdujące zastosowanie – każda metryka musi wspierać podejmowanie lepszych decyzji.

Porównanie metryk wydajności pracy w firmach stosujących praktyki DevOps i niestosujących
	2015	2014
Częstotliwość wdrożeń	30x	30x
Czas trwania wdrożeń	200x	200x
Średni czas przywracania	168x	48x
Wzrost odsetka udanych projektów	60%	3%