Jak testować antywirusy?

W tym wydaniu NetWorlda prezentujemy porównanie pakietów antywirusowych dla MSP. Autor skupił się na kwestiach wdrożenia i funkcjonalności. Dlaczego nie testowaliśmy skuteczności tego oprogramowania w wykrywaniu malware? A jaki w tym sens? Przecież nie ma w tej chwili w pełni obiektywnej metodologii testowania skuteczności antywirusów.

Najłatwiejszym i najpopularniejszym sposobem testowania pakietów AV jest wystawienie ich na działanie identycznego zestawu złośliwych kodów i obserwowanie, jak na to reagują. Tak testują organizacje, takie jak Virus Bulletin ( www.virusbtn.com ), tak testują czasopisma komputerowe. Jednak, gdy któryś z producentów wypada w tego typu testach źle, to jego odpowiedź jest spodziewana i standardowa: "najlepszym antywirusem nie musi być wcale ten, który ma największą bazę sygnatur. Produkt z mniejszą liczbą sygnatur, ale z lepszymi mechanizmami ochrony, może być znacznie skuteczniejszy w warunkach rzeczywistych". No i..., będzie miał rację.

Problemem testujących jest obiektywne i wszechstronne skonfrontowanie AV ze światem rzeczywistym, niosącym zmieniające się w czasie, realne, a nie laboratoryjne zagrożenia. Jak to zrobić?

Aby odpowiedzieć na to pytanie (a przynajmniej spróbować), stworzono przed rokiem Anti-Malware Testing Standards Organisation (AMTSO). Członkowie to plejada konkurujących ze sobą producentów ( amtso.org/members/supporters.html ), naukowcy i niezależni eksperci. Działania tej organizacji mają przynieść korzyści użytkownikom, ale i producentom (którzy skarżą się na straty odnoszone w wyniku publikacji niekompletnych lub wadliwych testów).

Zasady AMTSO są takie:

  1. Testowanie nie może powodować zagrożenia (przez tworzenie nowego malware).
  2. Testowanie musi być obiektywne.
  3. Testowanie musi być otwarte i przejrzyste.
  4. Skuteczność i wydajność pakietów anti-malware musi być mierzona w sposób zrównoważony.
  5. Testujący muszą zwrócić szczególną uwagę na to, czy próbki testowe zostały właściwie sklasyfikowane jako "złośliwe", "nieszkodliwe" lub "nieważne".
  6. Metodologia testowania musi być spójna z jego celem.
  7. Wnioski z testu muszą opierać się na jego wynikach.
  8. Wyniki testu muszą być potwierdzalne statystycznie.
  9. Producenci, testujący i wydawcy muszą mieć możliwość związanej z testem wymiany korespondencji.

Pryncypia, pryncypiami, ale jakie są konkrety? Na razie rzecz jest na etapie projektów (draftów). W tym, dotyczącym dynamicznego testowania - można znaleźć m.in. coś takiego: "Interesującym wariantem tego [testowania w świecie rzeczywistym] jest pobieranie złośliwego oprogramowania przez komputer odwiedzający dużą liczbę podejrzanych stron internetowych, np. przez użycie skryptu uruchamiającego przeglądarkę. Po tym jak wszystkie strony zostały odwiedzone, komputer może być poddany analizie, aby sprawdzić jak skutecznie dany AV chronił przed infekcją".

AMTSO to cenna inicjatywa, ale czy wobec piętrzących się trudności obiektywnych uda się stworzyć ramy właściwego i sprawiedliwego testowania? Czy wielkim - takim jak Symantec i McAfee, z dającym im przewagę arsenałem marketingowym - opłaca się stawać z mniejszymi producentami jak równy z równym - przed taką ostateczną instancją? Miejmy nadzieję. Ale z nadzieją to różnie bywa. Bo czy nie najlepiej sprzedają się rzeczy, których nie można do końca zmierzyć i porównać?

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200