Jak LLM zwiększają wydajność czerwonych i niebieskich zespołów
-
- Andrada Fiscutean ,
- 08.08.2023, godz. 12:48
Eksperci ds. cyberbezpieczeństwa włączyli do swojej pracy narzędzia podobne do ChatGPT i wykorzystują je do różnych zadań, od analizy kodu źródłowego po identyfikację luk w zabezpieczeniach.
Evan Pena, ekspert ds. bezpieczeństwa, używa dużych modeli językowych (LLM) niemal codziennie, aby potwierdzić odpowiedzi lub wymyślić inne pomysły na zbadanie luki w zabezpieczeniach. Te narzędzia do przetwarzania języka naturalnego (NLP), które opierają się na sztucznych sieciach neuronowych, mogą generować tekst lub kod prawie jak ludzie, a także rozpoznawać wzorce. Wykorzystanie ich potencjału jest częścią pracy Peny. Jest on dyrektorem zarządzającym ds. usług profesjonalnych w Google Cloud i przez ponad pięć lat kierował czerwonym zespołem Mandiant. Dla niego korzystanie z dużych modeli językowych często oznacza szybkie kończenie zadań, co jest istotnym czynnikiem w cyberbezpieczeństwie, dziedzinie, w której obciążenie pracą jest często wysokie, a niedobory umiejętności są prawdziwą walką.
W pewnym momencie Pena i jego koledzy potrzebowali narzędzia C do przetestowania znanej kombinacji nazwy użytkownika i hasła na wielu hostach w sieci. „Jako że był to „czerwony zespół”, nie chcieliśmy używać narzędzi open source, aby uniknąć statycznych wskaźników i wykrycia przez EDR. Byliśmy w stanie opracować to narzędzie i w pełni przetestować je w środowisku ćwiczeniowym przed użyciem go w środowisku produkcyjnym w ciągu kilku godzin”, opowiada. Narzędzie pozwoliło im zidentyfikować dostęp lokalnego administratora do systemu i wykonać ruch boczny w środowisku.
Zobacz również:Copilot znaczy po polsku wsparcie Czerwone i niebieskie zespoły mogą wykorzystywać LLM do wielu innych zadań. Firma Bishop Fox zajmująca się bezpieczeństwem ofensywnym bada, w jaki sposób modele te mogą zasilać kampanie inżynierii społecznej, dostawca rozwiązań cyberbezpieczeństwa Check Point Software wykorzystuje sztuczną inteligencję do optymalizacji badania złośliwego oprogramowania i znajdowania luk w zabezpieczeniach, podczas gdy Cossack Labs wykorzystuje ją podczas rekrutacji ekspertów ds. bezpieczeństwa do swojej działalności w zakresie rozwiązań do ochrony danych.
Jak czerwone i niebieskie zespoły wykorzystują LLM w swojej pracy
Duże modele językowe zaczęły rewolucjonizować sposób, w jaki czerwone i niebieskie zespoły wykonują swoją pracę. Narzędzia te były początkowo wykorzystywane do automatyzacji przyziemnych zadań, co może uwolnić cenny czas i zasoby. Stopniowo jednak zaczynają sięgać do bardziej złożonych obszarów cyberbezpieczeństwa. „Można śmiało powiedzieć, że LLM i generatywna sztuczna inteligencja zrewolucjonizowały zdolność red teamerów do prowadzenia kampanii socjotechnicznych i phishingowych na dużą skalę”, mówi Brandon Kovacs, starszy konsultant ds. red teamów w Bishop Fox. „Na przykład, korzystanie z LLM, które zostały wstępnie wytrenowane na miliardach parametrów ludzkiego tekstu, oprócz dostarczania tym modelom dodatkowych danych z publicznych źródeł dotyczących celu, pozwoliło nam tworzyć bardzo przekonujące i spersonalizowane kampanie na dużą skalę. Zazwyczaj zajęłoby to godziny lub dni. Jednak dzięki sztucznej inteligencji jesteśmy w stanie tworzyć je natychmiast”.
Bishop Fox bada również sposoby tworzenia i badania nowych szczepów złośliwego oprogramowania, które nie były wcześniej widoczne na wolności. Ponadto wykorzystuje LLM do przeprowadzania analizy kodu źródłowego w celu identyfikacji luk w zabezpieczeniach, co według Sergeya Shykevicha, kierownika grupy ds. analizy zagrożeń w firmie Check Point Software, jest również priorytetowym zadaniem. „Używamy wtyczki o nazwie Pinokio, która jest skryptem Pythona wykorzystującym model davinci-003, aby pomóc w badaniu luk w funkcjach dekompilowanych przez narzędzie IDA”, mówi.
Check Point polega również na sztucznej inteligencji, aby usprawnić proces badania złośliwego oprogramowania. Używają Gepetto, skryptu Pythona, który wykorzystuje modele GPT-3.5 i GPT-4, aby zapewnić kontekst dla funkcji dekompilowanych przez narzędzie IDA. „Gepetto wyjaśnia rolę określonych funkcji kodu, a nawet może automatycznie zmieniać nazwy zmiennych”, tłumaczy Shykevich.
Niektóre czerwone i niebieskie zespoły znalazły również sprzeczne z intuicją sposoby uzyskania pomocy od sztucznej inteligencji. Anastasiia Voitova, szef inżynierii bezpieczeństwa w Cossack Labs, mówi, że jej niebieski zespół myśli o tej technologii w procesie rekrutacji, próbując odfiltrować kandydatów nadmiernie polegających na sztucznej inteligencji. „Kiedy zatrudniam nowych inżynierów cyberbezpieczeństwa, daję im zadanie testowe, a niektórzy z nich po prostu pytają ChatGPT, a następnie ślepo kopiują i wklejają odpowiedź bez zastanowienia. ChatGPT to fajne narzędzie, ale nie jest to inżynier, więc [zatrudniwszy kandydatów, którzy nie posiadają odpowiedniego zestawu umiejętności], życie niebieskiego zespołu może stać się trudniejsze”.
Dodawanie modeli LLM do czerwonych i niebieskich zespołów#
Zespoły czerwone i niebieskie, które chcą włączyć duże modele językowe do swojego przepływu pracy, muszą robić to systematycznie. Muszą podzielić swoją codzienną pracę na etapy/procesy, a następnie przeanalizować każdy krok i określić, czy LLM może im pomóc w konkretnym kroku, czy nie, mówi Shykevich. Proces ten nie jest prosty i wymaga od ekspertów ds. bezpieczeństwa innego sposobu myślenia. Kovacs nazywa to „zmianą paradygmatu”. Zaufanie maszynie do wykonywania zadań związanych z cyberbezpieczeństwem, które zwykle były wykonywane przez ludzi, może być dość trudnym dostosowaniem, jeśli zagrożenia bezpieczeństwa stwarzane przez nową technologię nie zostaną dokładnie omówione.
Na szczęście jednak bariery wejścia w celu trenowania i uruchamiania własnych modeli sztucznej inteligencji obniżyły się w ciągu ostatniego roku, częściowo dzięki rozpowszechnieniu internetowych społeczności AI, takich jak HuggingFace, które umożliwiają każdemu dostęp i pobieranie modeli open source za pomocą SDK. „Na przykład, możemy szybko pobrać i uruchomić lokalnie na naszej własnej infrastrukturze Open Pre-trained Transformer Language Models (OPT), które dają nam odpowiednik odpowiedzi podobnych do GPT, w zaledwie kilku linijkach kodu, bez barier i ograniczeń zwykle wdrażanych przez odpowiednik ChatGPT”, mówi Kovacs.
Zarówno czerwone, jak i niebieskie zespoły, które chcą korzystać z dużych modeli językowych, muszą wziąć pod uwagę potencjalne implikacje etyczne tej technologii. Obejmuje to prywatność, poufność danych, uprzedzenia i brak przejrzystości wokół nich. Jak ujął to Kovacs, "podejmowanie decyzji w oparciu o sztuczną inteligencję może być raczej nieprzejrzyste".
Czerwone i niebieskie zespoły człowiek-AI
Korzystając z LLM, zarówno czerwone, jak i niebieskie zespoły muszą jednak pamiętać o jednej rzeczy. „Technologia nie jest doskonała. Sztuczna inteligencja i LLM są wciąż stosunkowo nowe i znajdują się w powijakach. Niezależnie od tego, czy chodzi o poprawę bezpieczeństwa samych systemów sztucznej inteligencji, czy też o rozwiązanie kwestii etycznych i prywatności wprowadzonych przez tę technologię, wciąż mamy przed sobą długą drogę”, mówi Kovacs.
Kovacs i większość badaczy postrzega LLM jako sposób na uzupełnienie i pomoc czerwonym i niebieskim zespołom, a nie ich całkowite zastąpienie, ponieważ chociaż modele te doskonale radzą sobie z przetwarzaniem danych i wyciąganiem wniosków, brakuje im ludzkiej intuicji i kontekstu.
„LLM wciąż nie są w stanie zastąpić badaczy ani podejmować decyzji związanych z badaniami cybernetycznymi / zespołami czerwonymi. Jest to narzędzie, które pomaga w pracy, ale ludzie nadal muszą sprawdzać jego wyniki”, mówi Shykevich.
Jakość danych jest również ważna, jak zauważa Kovacs:”Na skuteczność LLM i dostarczane przez nie dane wyjściowe duży wpływ ma jakość danych dostarczonych podczas szkolenia modelu”.
W nadchodzących latach technologia ta będzie coraz bardziej osadzona w codziennym życiu ekspertów technicznych, potencjalnie zmieniając każdego w „użytkownika cyberbezpieczeństwa”. Narzędzia, które to robią, takie jak niedawno wprowadzona przez CrowdStrike Charlotte AI, zaczęły się pojawiać. Charlotte AI to generatywny analityk bezpieczeństwa oparty na sztucznej inteligencji, z którego mogą korzystać klienci. Mogą oni zadawać pytania w prostym języku angielskim i dziesiątkach innych języków, na które otrzymają odpowiedzi. „Duże modele językowe są tworzone w celu uwzględnienia wiedzy z zewnętrznych magazynów danych, a także danych generowanych przez technologie takie jak platforma Falcon”, powiedział rzecznik CrowdStrike.
W tym kontekście, dla każdego członka czerwono-niebieskiego zespołu, bycie na bieżąco z ewolucją sztucznej inteligencji jest koniecznością. W nadchodzących latach coraz bardziej wyrafinowane narzędzia będą wykorzystywane zarówno w ofensywie, jak i defensywie. „Po stronie ofensywnej możemy spodziewać się bardziej zaawansowanych i zautomatyzowanych ataków, a także coraz bardziej zaawansowanych ataków socjotechnicznych, takich jak deepfake lub phishing głosowy”, mówi Kovacs. „Po stronie defensywnej możemy spodziewać się, że sztuczna inteligencja będzie odgrywać kluczową rolę w wykrywaniu zagrożeń i reagowaniu na nie, a także pomagać analitykom bezpieczeństwa w automatyzacji i przeszukiwaniu dużych zbiorów danych w celu identyfikacji potencjalnych zagrożeń”.
Jak przewiduje Kovacs, hakerzy będą nadal korzystać z LLM i wymyślać innowacyjne sposoby infiltracji organizacji i łamania zasad bezpieczeństwa. Dlatego zespoły ds. bezpieczeństwa muszą wyprzedzać konkurencję. Łącząc ludzką inteligencję z możliwościami sztucznej inteligencji, czerwone i niebieskie zespoły mogą pomóc zminimalizować wpływ cyberataków.
Źródło: CSO
