Serwis od kilku tygodni przyjmuje propozycje zmian w procedurach testowych - przygotowują je m.in. producenci najpopularniejszych programów antywirusowych (np. Symantec, Panda Software, Kaspersky Lab, F-Secure Corp oraz Trend Micro) oraz inni testerzy antywirusów. Sugestie tych firm mają zostać wykorzystane podczas finalizowania nowych reguł testowych, tworzonych przez specjalistów z AV-Test.org.

"Wyniki naszych prac zostaną oficjalnie zaprezentowane podczas konferencji Association of AntiVirus Asia Researchers 2007, która odbędzie się w przyszłym miesiącu w Seulu" - mówi Maik Morgenstern, odpowiedzialny za przeprowadzanie testów w AV-Test.org.

Przedstawiciele firm, które zaangażowały się w tworzenie nowego projektu mówią, iż będą starali się przekonać inne przedsiębiorstwa z branży do zapoznania się z wynikami ich prac i wykorzystania nowej procedury testowej. "Sądzimy, że tak właśnie powinno się przeprowadzać testy oprogramowania antywirusowego - dlatego chcemy przekonać do tego inne firmy" - mówi Mark Kennedy, specjalista z Symanteka, którzy zastrzega jednak, że dokument tworzony przez AV-Test.org nie będzie "jedynym słusznym" kodeksem testowania. "To będzie raczej zbiór porad i sugestii dla testerów antywirusów - to oni będą mogli zdecydować, do których z nich się zastosują" mówią autorzy opracowania.

Sygnatury są przestarzałe?

Problem ze starymi metodami testowymi polega na tym, że zwykle ich podstawowym elementem jest sprawdzanie określonej lokalizacji (np. folderu), w którym umieszczono ogromną liczbę złośliwych programów - testowany program ma je wykryć, zidentyfikować i usunąć. Zdaniem przedstawicieli AV-Test.org, taki test sprawdza tylko to, czy producent wyposażył daną aplikację w odpowiednią dużą i aktualną "bazę sygnatur" wirusów - a przecież w ostatnim czasie pojawia się coraz więcej aplikacji antywirusowych, które potrafią identyfikować groźny kod nie tylko na podstawie sygnatur, ale także w oparciu o analizę zachowania danego programu.

Dlatego też przedstawiciele firm produkujących antywirusy wykrywające "złośliwe programy" w oparciu o analizę zachowania uważają, że testy oparte na sprawdzaniu wyizolowanej porcji wirusów nie są miarodajne i nieprawidłowo przedstawiają rzeczywistą skuteczność nowoczesnych programów antywirusowych. Może się bowiem zdarzyć, że jakiś program wypadnie źle w takim teście (tzn. nie wykryje kopii trojana umieszczonej w folderze), ale w rzeczywistych warunkach, w działającym systemie operacyjnym, będzie w stanie wykryć infekcję i usunąć "szkodnika".

Dlatego też wśród propozycji "reformatorskich" znalazła się sugestia, by testy przeprowadzać w ten sposób, aby maksymalnie odwzorowywały one realne sytuacje - np. użytkownika przeglądającego strony WWW i atakowanego na nich przez złośliwy kod. Przed takim testem program antywirusowy nie może być uaktualniany przez pewien czas - chodzi o to, by zagrożenie wykrywany było nie poprzez system sygnatur, lecz poprzez analizę zachowania wirusa. Taki system ma premiować tych producentów, którzy przygotowują wydajniejsze metody wykrywania złośliwego kodu - a nie tych, którzy szybciej przygotowują uaktualnienia dla swoich aplikacji.

Wciąż nie ustalono np. dokładnych kryteriów oceniania skuteczności testowanych produktów - wiadomo już jednak, że liczba punktów przyznawanych podczas testów ma być uzależniona od tego, w jaki sposób program wykryje zagrożenie. Twórcy nowych procedur deklarują, że chcą uniknąć nadmiernego skomplikowania systemu oceny - chodzi o to, by wyniki testów były czytelne dla konsumentów.