Projekty badawcze w zakresie spamu projektowanego metodą CAPTCHA

W wielu laboratoriach prowadzi się badania nad metodami wykrywania najnowszych trików wykorzystywanych przez spamerów, phisherów i innych cyberprzestępców. Część tych projektów to reakcja na exploity już będące w użyciu, takie jak spam graficzny i phishing, ale prowadzone prace badawcze mają na celu przeciwstawianie się także przyszłym "wynalazkom". Dotyczą one głównie nowych metod rozpoznawaniu spamu w plikach graficznych. Dwa przykłady takich projektów to: metoda trenowania szybkich klasyfikatorów spamu obrazkowego, opracowana na Uniwersytecie Pensylwania, oraz filtrowanie spamu obrazkowego z podwójnym wykrywaniem, opracowane na Uniwersytecie Princetown.

Od blisko dekady filtrowanie zawartości z wykorzystaniem algorytmów samouczenia jest podstawą systemów antyspamowych. Filtry zawartości, często oparte na modelu Bayesa, używają cech tekstu do klasyfikowania wiadomości - czy jest spamem. Spamerzy podejmowali próby przechytrzenia filtrów zamazując tekst, wtrącając do słów przypadkowe znaki i włączając neutralne teksty do zmylenia filtrów. W końcu zamiast zamazywania tekstu wiadomości, spamerzy całkowicie usunęli tekst znakowy z wiadomości, neutralizując techniki analizy tekstu. Treść spamu pojawiła się w postaci obrazków, czytelnych dla ludzi, ale ukrytych dla tradycyjnych filtrów. Spam obrazkowy umożliwił spamerom projektowanie spamu metodą CAPTCHA przeciw systemom antyspamowym. Ponieważ wyodrębnienie i analiza zagnieżdżonego tekstu jest trudna, filtry nie mogą właściwie analizować takich przesyłek.

Metodę trenowania szybkich klasyfikatorów spamu obrazkowego proponuje mechanizm pozwalający na włączenie wiedzy o załącznikach graficznych do decyzji klasyfikacyjnych. System opiera się na nowym algorytmie, zaprojektowanym do trenowania szybkich klasyfikatorów wiadomości.

Na użytek systemu poszerzono metodologię klasyfikacji tekstu o klasyfikację spamu obrazkowego. Zamiast używać złożonej analizy znaczeniowej i intencjonalnej, współczesne klasyfikatory tekstów w systemach antyspamowych opierają się na prostych cechach, obejmujących całość słów, informacje nagłówkowe i strukturalne wiadomości. Model takich klasyfikatorów opiera się na analizie, czy w wiadomości można znaleźć tendencję do używania pewnych słów, np. Viagra, zamiast analizowania intencji wiadomości. Podobne podejście przyjęto w klasyfikacji spamu obrazkowego, skupiając się głównie na ubocznych właściwościach obrazu. W rezultacie proponowane mechanizmy są szybkie, ponieważ nie wymagają sprawdzania całej zawartości obrazu.

Podstawowa grupa cech opiera się na metadanych i innych prostych właściwościach obrazu, takich jak format pliku, rozmiar pliku, metadane obrazu - wszystkie informacje o obrazie, np. komentarze, liczba bitów na piksel, pozycje tablicy kolorów, logiczna wysokość i szerokość itp., rozmiar obrazu. Pozostałe cechy to zakres kolorów, ich nasycenie itd.

Przetwarzanie obrazów jest bardziej czasochłonne niż przetwarzanie tekstu. Systemy klasyfikacji działają zazwyczaj w dwóch etapach: wyodrębnienie cech i klasyfikacja. W przypadku tradycyjnych klasyfikatorów, klasyfikacja wymaga mnożących się wyliczeń z wagami i wektorami cech. Wyodrębnienie cech może być bardziej czasochłonne, zwłaszcza gdy cechy zależą od przeprowadzenia złożonych testów. Wyodrębnienie cech tekstu znakowego jest bardzo szybkie, natomiast przetwarzanie obrazów jest powolne.

Jednak nie wszystkie cechy są potrzebne do klasyfikacji. Podstawową techniką w automatycznym treningu jest selekcja cech i uczenie się z podzbioru właściwości, a nie całej przestrzeni cech. Pod uwagę brane są jedynie najbardziej przewidywalne cechy, ponieważ mniejszy zbiór jest prostszy do "nauczenia".

Z kolei projekt filtrowania spamu obrazkowego z podwójnym wykrywaniem wykorzystuje podstawową cechę wiadomości spamowych: muszą być one wysyłane w dużej liczbie. Ponieważ spam wysyłany jest masowo, to część może być wykrywana przez tradycyjne filtry antyspamowe, np. pułapki (honeypot), lub na podstawie analizy adresów nadawcy. Z chwilą gdy część spamu zostanie wykryta tradycyjnymi metodami, ich zbliżone tekstowo warianty graficzne mogą być zidentyfikowane jako spam, nawet po przejściu przez tradycyjne filtry.

Architekturę podwójnego wykrywania tworzą tradycyjne filtry antyspamowe wykorzystujące analizę tekstów, zestaw filtrów spamu obrazkowego oraz moduł oceny agregujący wyniki różnych filtrów spamu obrazkowego. Każdy filtr spamu obrazkowego jest tworzony przez jednostkę wyodrębniającą cechy, bazę danych cech "niespamowych", bazę danych cech "spamowych" oraz jednostkę wykrywania spamu obrazkowego.

Jednym z istotniejszych problemów w projektowaniu systemu wykrywania "prawie duplikatów" jest wyliczenie stopnia podobieństwa przy porównywaniu dwóch obrazków. Innymi słowy, potrzebne jest określenie progu podobieństwa. Jeżeli taki próg jest zbyt mały, filtr ma tendencję osiągania niskiego procentu fałszywych rozpoznań, ale z niską wydajnością. Tradycyjnie, taki próg uzyskuje się poprzez trening z zestawem spamu obrazkowego. W tej metodzie wybrano inne podejście - określanie progu drogą analizy zestawów wiadomości niebędących spamem. "Nauczanie" filtra - jak wygląda to, co nie jest spamem - i wykorzystanie tej informacji do określenia progu ma na celu uzyskanie dużej wydajności i niskiego współczynnika fałszywych rozpoznań. Przyjęto tu założenie, że wiadomości niebędące spamem są relatywnie stabilne w czasie, podczas gdy metody spamu obrazkowego nieustannie ulegają zmianie i nowy spam obrazkowy pojawia się w coraz to innej postaci.

Cała poczta wchodząca przechodzi w pierwszej kolejności przez tradycyjny filtr. Poczta bez zagnieżdżonych obrazków jest obsługiwana w całości przez ten filtr. Wiadomości z obrazkami są filtrowane i etykietowane przez tradycyjny filtr (np. na podstawie analizy nagłówka) i przekazywane do systemu wykrywania spamu obrazkowego.

Zagnieżdżone w wiadomościach grafiki są przetwarzane przez filtry spamu obrazkowego. Każda jednostka wyodrębniania cech, każdego indywidualnego filtra spamu obrazkowego, wydziela pewien wektor cech z obrazka. Jeżeli obrazek został zakwalifikowany jako spam przez tradycyjne filtry, jego wektor cech zostanie umieszczony w bazie danych cech spamu. W czasie umieszczania zostanie określone przystawanie do wektorów cech przechowywanych w bazie danych cech "nie-spamu" i ustawiony najmniejszy próg wykrywania związany z tym szczególnym spamem obrazkowym. W ten sposób tworzy wielowymiarowy podzbiór w przestrzeni cech - każdy wektor cech należący do tego podzbioru uważany jest za reprezentanta spamu.

Filtr spamu obrazkowego może wykorzystywać te podzbiory, definiowane przez progi w bazie danych cech spamu, do wykrywania najbliższych duplikatów znanych spamów. Wektor cech obrazka nie zakwalifikowanego jako spam przez filtry pierwotne, jest porównywany z wszystkimi wektorami cech w bazie danych cech spamu. Jeżeli zaś do dowolnego podzbioru znanych obrazków spamu, to wiadomość z nim związana jest uważana za spam. Na końcu filtrów funkcjonuje moduł do oceny wyników zagregowanych z wielu filtrów. Na tym etapie może być podjęta ostateczna decyzja klasyfikacyjna wykorzystująca jedną z metod: obraz klasyfikowany jest jako spam jedynie wtedy, gdy wszystkie filtry zdecydują, że to jest spam; obraz klasyfikowany jest jako spam, jeżeli dowolny z filtrów zdecyduje, że jest to spam; obraz klasyfikowany jest jako spam, jeżeli określona liczba filtrów zdecyduje, że jest to spam.