Analiza logów: potencjał do wykorzystania

Gromadzenie logów. W przedsiębiorstwie, aby efektywnie i wydajnie monitorować zdarzenia, dąży się do zbierania wszystkich logów w pojedynczym centralnym punkcie.

Z punktu widzenia bezpieczeństwa, zbieranie wszystkich zdarzeń w centralnej lokalizacji jest korzystne, jednakże scentralizowane źródło zbierania może mieć kłopot z obsłużeniem dużego wolumenu zdarzeń, biorąc pod uwagę: obciążenie sieci, liczbę transakcji i pamięć masową.

Niektórzy administratorzy decydują się na gromadzenie w scentralizowanym systemie rejestracji zdarzeń tylko te najbardziej krytyczne i użyteczne z punktu widzenia analiz, pozostawiając większość poza nim - na systemach lokalnych. Administrator powinien mieć wtedy możliwość korelowania ze scentralizowanym systemem rozproszonych logów zdarzeń, jeżeli zajdzie taka potrzeba.

Analiza logów: potencjał do wykorzystania

Wśród darmowych rozwiązań są narzędzia zbierające wpisy Syslog z wielu urządzeń. Kiwi Syslog Daemon potrafi odbierać, filtrować, logować, wyświetlać i przekazywać komunikaty Syslog oraz trapy SNMP z takich hostów, jak routery, przełączniki, systemy Unix i inne urządzenia generujące wiadomości Syslog

Kwerendowanie będzie spowolnione, a korelacja zdarzeń trudniejsza, gdy systemy rejestracji zdarzeń pozostawiają wszystkie logi zdarzeń na lokalnym systemie i używają agentów do przeszukiwania lokalnych logów, kiedy trzeba kwerendować ważne zdarzenia. Z drugiej strony, plusem takiego rozwiązania jest to, że najmniej oddziałuje na sieć.

Pojawianie się różnorodnych urządzeń mobilnych komplikuje rejestrowanie zdarzeń. Smartfony i tablety (generalnie wszystkie urządzenia nieobjęte zarządzaniem) stwarzają problemy przy rejestrowaniu zdarzeń. Wiele z nich nie tworzy użytecznych logów - często logi są zapisywane tylko poprzez historię połączeń. Trzeba więc rozpoznać, czy urządzenia te umożliwiają rejestrowanie zdarzeń, a następnie, czy generowane informacje mogą być użyteczne. W następnym kroku trzeba określić, jak właściwie zbierać informacje z logu - nie jest to łatwe w przypadku urządzeń, które nie są podłączone przez cały czas do sieci przedsiębiorstwa.

Problemem jest też niezawodność i bezpieczeństwo. Jeżeli usługi centralnego logu przestaną działać, to co się stanie na lokalnych klientach? Czy informacje o zdarzeniach zostaną utracone, czy też zbuforowane i przesłane, kiedy system centralny wróci do stanu online? Jeżeli system centralny przestanie działać, to jak długo system lokalny przetrzymuje zdarzenia, zanim zostaną utracone? Czy logi są transmitowane bezpiecznie i są zabezpieczone przed nieautoryzowanym podsłuchem?

Normalizacja. Normalizacja zebranych danych to prawdopodobnie druga najbardziej czasochłonna faza monitorowania zdarzeń podczas początkowej konfiguracji. Jeżeli w sieci jest wiele typów monitorowanych systemów (w tym wersji Windows), to pliki logów zbierane z tych systemów i ich wersji nie zawsze są w tym samym formacie, a pola i wartości danych też się różnią.

Normalizacja jest procesem przekształcającym różne formaty pliku logu i komunikaty we wspólny schemat. W większości środowisk dwoma najpowszechniejszymi formatami, które trzeba normalizować, są logi zdarzeń Microsoftu. Dopiero w systemie Windows Vista zmieniono format plików logów na XML - łatwiejszy do zrozumienia i obrabiania, jednak w wielu przedsiębiorstwach nadal są używane wcześniejsze wersje Windows. Do tego dochodzą wszystkie różnice pomiędzy wersjami Windows - identyfikatory zdarzeń często zmieniają się z wersji na wersję.

Ale nawet Syslog - uważany za najbardziej otwarty - stwarza problemy. Jest formatem komunikatów o zdarzeniach, ale to, co zawiera w poszczególnych polach, zmienia się radykalnie w zależności od produktu. Dlatego też przeprowadzenie normalizacji wielu produktowych Syslogów może kosztować dużo pracy. Obecnie podejmuje się próby zachęcenia wszystkich dostawców do stosowania formatów niezależnych od producenta - otwartych standardów logów, co może kiedyś uprości normalizację.

Indeksowanie i przeszukiwanie zgromadzonych danych. Przed lub po normalizacji, większość programów zarządzania logami wybiera kluczowe pola, według których indeksuje informacje do późniejszego użytku. Niektóre programy dopuszczają indeksowanie na podstawie wszystkich pól, inne tylko według wybranych. Wszystkie natomiast sortują według daty i czasu.

Istotnym elementem zarządzania logami jest wyszukiwanie interesujących wzorców i zdarzeń w zgromadzonych danych. Wyszukiwanie opiera się na słowach kluczowych, frazach w języku angielskim i wyrażeniach logicznych. Kwerendy mogą być budowane poprzez interfejs graficzny lub wpisywane bezpośrednio. Możliwe jest też przeszukiwanie niestrukturalizowanych logów - na podstawie prostego klucza lub wyrażeń logicznych.


TOP 200