"Ta procedura testowa powstała pod koniec XX w., gdy zdarzał się jeden masowy atak wirusów co kilka miesięcy. Teraz jest inaczej. Oczywiście, wartość marketingowa tego logo jest wysoka, ale obecnie wynik testu nie znaczy zbyt wiele" - mówił Genes.

200% skuteczności

Procedura testu Virus Bulletin 100 jest dość prosta - aplikacje antywirusowe muszą przeprowadzić skanowanie wskazanego folderu, w którym wśród "legalnych" plików ukryte są wirusy (w tym m.in. wszystkie "szkodniki" z tzw. Wildlist - czyli listy aktywnych aktualnie złośliwych programów). Test zaliczony zostanie tylko w jednym przypadku - jeśli antywirus wykryje 100% szkodliwych aplikacji i ani razu nie pomyli się w ocenie "legalnego" pliku (tzn. nie uzna żadnego z nich za wirusa).

Przedstawiciel Trend Micro zwraca uwagę, że choć w teście wykorzystywane są prawdziwe, aktywne w Sieci zagrożenia, to jednak sposób, w jaki są one "podane" aplikacji antywirusowej sprawia, że test nie jest wiarygodny (ponieważ nie symuluje poprawnie rzeczywistej pracy, którą musi wykonać "antywirus").

VB w tarapatach?

Genes stwierdził również, że Trend Micro nie jest jedyną firmą, która ma zastrzeżenia co do procedury testowej VB100. Jego zdaniem, znacznie bardziej miarodajną metodą sprawdzania skuteczności oprogramowania antywirusowego są testy przeprowadzane przez austriacki projekt AV Comparatives (w których aplikacje AV są atakowane całymi zestawami złośliwego oprogramowania).

Wycofanie się Trend Micro oraz innych producentów z udziału w testach mogłoby oznaczać poważne kłopoty dla projektu VB100. Firma ta do tej pory brała udział w 27 rankingach VB. Udział w nich jest co prawda bezpłatny, ale producenci testowanych aplikacji płacą za możliwość umieszczenia logo świadczącego o dobrym wyniku w teście na opakowaniach produktów i w materiałach reklamowych. Gdyby więc kilka dużych firm zrezygnowało z tej formy sprawdzania skuteczności swoich aplikacji, to spowodowałoby to zmniejszenie wpływów Virus Bulletin oraz obniżenie rangi testów.

Będą nowe zasady

Przedstawiciele Virus Bulletin bronią swoich testów - John Hawes, jeden z współtwórców projektu, tłumaczy, że Trend Micro błędnie postrzega VB100 jako kompleksowy mechanizm oceny wartości programu antywirusowego. A tak nie jest - zadaniem testu jest jedynie sprawdzenie, jak dany program radzi sobie z identyfikowaniem oprogramowania antywirusowego (dlatego też ocenie poddane jest zarówno to, czy aplikacja wykrywa wszystkie wirusy, jak i to, czy nie trafiają jej się fałszywe wskazania).

Hewes zapowiedział również, że zespół VB pracuje już nad nowymi zasadami testowania, które mają pozwolić na bardziej kompleksowe ocenienie skuteczności programów AV. "Ideą VB100 jest, by w testach brali udział wszyscy. Szkoda by było, gdyby z listy zniknęły produkty Trend Micro" - mówi przedstawiciel Virus Bulletin.

Warto przypomnieć, że niedawno powołana została specjalna organizacja branżowa - AMTSO (Anti-Malware Testing Standards Organization) - której zadaniem jest właśnie wypracowanie standardów testowania i porównywania skuteczności "antywirusów". Więcej informacji na ten temat można znaleźć w tekście "AMTSO pomoże wybrać antywirusa".