Log Analytics

Analiza logów jest bardzo istotnym elementem w życiu wielu organizacji. Jednym ze sposób zbierania a następnie analizowania logów czy danych wydajnościowych jest wykorzystanie produktu o nazwie Log Analytics. Produkt Log Analytics jest częścią pakietu o nazwie Microsoft Operations Management Suite (OMS), w skład pakietu OMS wchodzi dodatkowo Azure Site Recovery, Azure Automation, oraz Azure Backup. Produkty te można kupić oddzielnie lub jako jeden łączny pakiet adresujący wiele problemów informatycznych. Log Analytics może zbierać dane pochodzące z maszyn fizycznych jak również z maszyn wirtualnych. Maszyny te mogą być zainstalowane w lokalnym centrum danych jak również w chmurze. Rozpoczęcie pracy z produktem Log Analytics możemy zacząć od wykorzystania gotowych paczek rozwiązań które bardzo szybko pozwalają zacząć analizowanie naszego środowiska. Gotowe paczki rozwiązań posiadają często wiedzę bezpośrednio od inżynierów firmy Microsoft. W paczce zaszyte są informacje co należy zbierać z systemów jak również jak to przedstawić w ładny graficzny sposób. W wielu przypadkach konfiguracja paczki rozwiązań polega po prostu na jej dodaniu, w innych przypadkach należy wykonać konfigurację, która jest bardzo dobrze opisana w dokumentacji.  Na poniższych zdjęciach został umieszczony widok gotowych paczek rozwiązań, widok ten szybko się zmienia więc w chwili czytania tego artykułu ilość paczek może być znacznie większa.

Jedną z możliwości gotowych paczek rozwiązań jest weryfikacja konfiguracji naszego środowiska Active Directory Domain Services, Microsoft SQL Server oraz produktu System Center Operation Manager. Paczki tego typu oznaczone są jako Assessment (np. AD Assessment). W przypadku błędnej konfiguracji usługi Active Directory Domain Services, Microsoft SQL Server czy System Center Operation Manager, gotowa paczka rozwiązań informuje nas o problemie, jak również przedstawia informacje jak taki problem należy rozwiązać.

Kolejną paczką, na którą warto zwrócić uwagę to „Security and Audit” jest ona niezbędna w każdej organizacji, gdzie chcemy badać zachowania dotyczące użytkownika takie jak np. błędne logowania, zmiana czy reset hasła użytkownika. Dodatkowo dzięki technologii „Threat Intelligence” zawartej w paczce „Security and Audit” jesteśmy w stanie zobaczyć połączenia przychodzące z zainfekowanych źródeł (np. z komputerów należących do Botnet-ów), jak również połączenia wychodzące ze stacji/serwerów do zainfekowanych źródeł. Informacje dotyczące połączeń z zainfekowanymi komputerami dostępne są w postaci mapy widocznej na poniższych rysunkach.

Następną bardzo istotną gotową paczką jest „Change Tracking”. Rozwiązanie to przedstawia nam obraz zmian wykonywanych na monitorowanych serwerach czy stacjach roboczych. Śledzone zmiany dotyczą usług, aplikacji, aktualizacji oraz zdefiniowanych plików.

Inne paczki rozwiązań dostarczają nam możliwość monitorowania środowiska sieciowego w lokalnym centrum danych, jak również w Microsoft Azure. Kolejnym przykładem jest możliwość analizowania środowiska Microsoft Hyper-V oraz VMware. Posiadacze Office 365 są w stanie podłączyć swoją organizację do Log Analytics i zobaczyć w przejrzysty sposób logi z tego produktu. Wykorzystując integrację Log Analytics z Upgrade Readiness jesteśmy w stanie wykonać analizę naszego środowiska stacji roboczych pod kątem potencjalnych problemów podczas migracji z systemów Windows 7, 8, 8.1 do Windows 10. Dzięki gotowej paczce „Service Map” w graficzny sposób możemy zobaczyć udane połączenia, jak również połączenia nieudane z punktu widzenia procesów uruchomionych na systemach Linux lub Windows. Mapa usług wykrywa automatycznie komponenty aplikacji i mapuje komunikację pomiędzy usługami.

Istnieje wiele innych paczek rozwiązań służących np. do weryfikacji aktualizacji naszego środowiska Windows oraz Linux czy np. paczka wyświetlająca informację o wykrytych wirusach (integrujemy się obecnie z Symantec Endpoint Protection, Trend Micro Deep Security oraz z Windows Defender). Nie jestem jednak w stanie przedstawić wszystkich możliwości produktu, dlatego też, aby przestudiować wszystkie możliwe paczki proponuje zapoznać się z linkami które umieściłem na dole dokumentu.

Brak gotowych paczek rozwiązań nie jest przeszkodą w analizie logów. Produkt Log Analytics dostarcza nam możliwość konfiguracji jakie dodatkowe logi czy dane wydajnościowe za wyjątkiem tych zbieranych przez gotowe paczki, mają trafić do produktu Log Analytics. Istnieje możliwość zbierania logów niestandardowych, które muszą być dostępne w postaci plików tekstowych. Wykorzystując opcję niestandardowe pola jesteśmy w stanie wyodrębnić z logu informacje które nas interesują i zrobić z nich pole możliwe do przeszukiwania. Technologia wyodrębniania danych z logu i tworzenia nowego pola nazywa się FlashExtract.

Używając „View Designer” jesteśmy w stanie za pomocą języka zapytań przedstawić graficznie analizowane logi. Język zapytań jest na tyle prosty, że już po kilku godzinach spędzonym z produktem jesteśmy wstanie bardzo szybko pisać własne zapytania, poniżej kilka przykładów zapytań.

Wyświetlanie licznika wydajności, czas procesora na wykresie.

Type=Perf (ObjectName=Processor) CounterName=”% Processor Time” | measure avg(CounterValue) by Computer Interval 24HOURS

Wyświetlenie wszystkich stacji na których ilość wolnego miejsca dla dysków G oraz E jest mniejsza niż 3000 MB.

Type=Perf ObjectName=LogicalDisk CounterName=”Free Megabytes” (InstanceName=”G:” OR InstanceName=”E:”) AND CounterValue

Zaczęły pojawiać się również paczki tworzone przez firmy trzecie, przykładem takiego rozwiązania jest paczka OpsLogix Microsoft OMS Log Analytics Solution która przedstawia informację na temat środowiska Oracle, link do rozwiązania na dole artykułu.

Monitorowane środowisko może składać się z systemów Windows, jak również Linux. Dostępni są agenci do ściągnięcia bezpośrednio z portalu, a dla użytkowników, którzy wykorzystują już produkt System Center Operation Manager, dodanie agentów sprowadza się do wpisania danych dostępowych do Log Analytics w portalu administracyjnym System Center Operation Manager. Agent dla Log Analytics jest tym samym agentem, który wykorzystywany jest przez produkt System Center Operation Manager. Istnieje możliwość zbierania danych Simple Network Management Protocol (SNMP), które pochodzą z urządzeń sieciowych. Do zbierania danych SNMP można wykorzystać SNMP trap receiver o nazwie snmptrapd który jest popularnym rozwiązaniem możliwym do uruchomienia na systemie Linux. Więcej informacji o zbieraniu danych z urządzeń sieciowych można znaleźć w linku na dole artykułu.

Produkt Log Analytics posiada możliwość wysyłania alertów na maila, a wykorzystując produkt Azure Automation mamy możliwość wykonywania skryptów w Microsoft Azure lub w środowisku lokalnym. Dodatkowo jesteśmy w stanie wykorzystać opcję webhook czyli wysłać żądania HTTP POST na jakiekolwiek zewnętrzne źródło które tylko obsługuje tego typu połączenia. Do webhooka jesteśmy w stanie dorzucić JSONa z różnymi informacjami które chcemy przekazać.

Istnieje możliwość uruchomienia widoków z Log Analytics na urządzeniach mobilnych.

Dostępna jest opcja udostępnienia danych z Log Analytics w PowerBI, co zapewnia dodatkowe możliwości analizy oraz prezentacji danych.

Log Analytics posiada API zarówno dla wyszukiwania (log search REST API) jak i na potrzeby wrzucania danych (HTTP Data Collector API). Dzięki takie podejściu wiele problemów dotyczących zbierania danych jesteśmy w stanie rozwiązać wykorzystując np. język PowerShell.

Produkt Log Analytics nie wymaga zakupu czy instalacji nowej infrastruktury fizycznej. Całe środowisko do analizy logów dostępne jest w centrum danych Microsoft Azure. Produkt Log Analytics działa jako usługa, dlatego też nie martwimy się oszacowaniem wydajności środowiska. Produkt jest usługą, która ma trzymać swoje parametry i zapewnić sprawnie działający system do analizy logów. Uruchomienie produktu Log Analytics i jego wstępna konfiguracja zajmuje zazwyczaj kilka godzin, dzięki temu można od razu zaobserwować wyniki działania produktu.

Produkt Log Analytics jest jednym z najszybciej rozwijających się produktów dostępnych na platformie Microsoft Azure. W każdej chwili istnieje możliwość przetestowania produktu wykorzystując link https://experience.mms.microsoft.com po wypełnieniu formularza dostajemy się do wstępnie skonfigurowanego środowiska Log Analytics. Dla osób, które chcą przetestować rozwiązanie dla swojej własnej infrastruktury dostępna jest darmowa wersja produktu Log Analytics, za pomocą której można wysłać łącznie 500 MB logów dziennie, jedynym wymaganiem jest posiadanie subskrypcji Microsoft Azure.

Artykuł miał na celu tylko przybliżenie możliwości produktu, w celu dokładnego przejrzenia produktu zapraszam na poniższe strony które ja dość często wykorzystuję.

Dokumentacja produktu

https://docs.microsoft.com/en-us/azure/operations-management-suite/operations-management-suite-overview

Blog grupy produktowej

https://blogs.technet.microsoft.com/msoms/

OpsLogix Microsoft OMS Log Analytics Solution

http://www.opslogix.com/use-the-opslogix-microsoft-oms-solution/

Zbieranie danych z urządzeń sieciowych

https://blogs.technet.microsoft.com/msoms/2016/09/21/collecting-snmp-data-with-operations-management-suite/