Logstash - Wprowadzenie

Logstash to narzędzie oparte na wzorcach filtrów / potoków do gromadzenia, przetwarzania i generowania dzienników lub zdarzeń. Pomaga w centralizacji i przeprowadzaniu analizy dzienników i zdarzeń z różnych źródeł w czasie rzeczywistym.

Logstash jest napisany w języku programowania JRuby, który działa na JVM, więc możesz uruchomić Logstash na różnych platformach. Zbiera różne typy danych, takie jak dzienniki, pakiety, zdarzenia, transakcje, dane znacznika czasu itp., Z prawie każdego rodzaju źródła. Źródłem danych mogą być dane społecznościowe, handel elektroniczny, artykuły z wiadomościami, CRM, dane z gier, trendy internetowe, dane finansowe, internet rzeczy, urządzenia mobilne itp.

Ogólne funkcje Logstash

Ogólne cechy Logstash są następujące -

Logstash może zbierać dane z różnych źródeł i wysyłać do wielu miejsc docelowych.
Logstash może obsługiwać wszystkie typy danych rejestrowania, takie jak dzienniki Apache, dzienniki zdarzeń systemu Windows, dane przez protokoły sieciowe, dane ze standardowego wejścia i wiele innych.
Logstash może również obsługiwać żądania HTTP i dane odpowiedzi.
Logstash zapewnia różnorodne filtry, które pomagają użytkownikowi znaleźć więcej znaczenia w danych poprzez ich analizowanie i przekształcanie.
Logstash może być również używany do obsługi danych z czujników w internecie rzeczy.
Logstash jest oprogramowaniem typu open source i jest dostępny na licencji Apache w wersji 2.0.

Kluczowe pojęcia Logstash

Kluczowe koncepcje Logstash są następujące -

Obiekt zdarzenia

Jest to główny obiekt w Logstash, który hermetyzuje przepływ danych w potoku Logstash. Logstash używa tego obiektu do przechowywania danych wejściowych i dodawania dodatkowych pól utworzonych na etapie filtrowania.

Logstash oferuje programistom Event API do manipulowania zdarzeniami. W tym samouczku to zdarzenie jest określane różnymi nazwami, takimi jak zdarzenie rejestrowania danych, zdarzenie dziennika, dane dziennika, dane dziennika wejściowego, dane dziennika wyjściowego itp.

Rurociąg

Obejmuje etapy przepływu danych w Logstash od wejścia do wyjścia. Dane wejściowe są wprowadzane do potoku i przetwarzane w formie zdarzenia. Następnie wysyła do miejsca docelowego wyjściowego w pożądanym formacie użytkownika lub systemu końcowego.

Wejście

Jest to pierwszy etap potoku Logstash, który służy do pobierania danych w Logstash do dalszego przetwarzania. Logstash oferuje różne wtyczki do pobierania danych z różnych platform. Niektóre z najczęściej używanych wtyczek to - File, Syslog, Redis i Beats.

Filtr

To środkowy etap Logstash, w którym odbywa się faktyczna obróbka zdarzeń. Deweloper może użyć wstępnie zdefiniowanych wzorców Regex firmy Logstash do tworzenia sekwencji do rozróżniania pól w zdarzeniach i kryteriów akceptowanych zdarzeń wejściowych.

Logstash oferuje różne wtyczki, które pomagają programistom analizować i przekształcać zdarzenia w pożądaną strukturę. Niektóre z najczęściej używanych wtyczek filtrów to - Grok, Mutate, Drop, Clone i Geoip.

Wynik

To ostatni etap potoku Logstash, w którym zdarzenia wyjściowe można sformatować do struktury wymaganej przez systemy docelowe. Na koniec wysyła zdarzenie wyjściowe po zakończeniu przetwarzania do miejsca docelowego za pomocą wtyczek. Niektóre z najczęściej używanych wtyczek to - Elasticsearch, File, Graphite, Statsd itp.

Zalety Logstash

Poniższe punkty wyjaśniają różne zalety Logstash.

Logstash oferuje sekwencje wzorców regex do identyfikowania i analizowania różnych pól w dowolnym zdarzeniu wejściowym.
Logstash obsługuje różne serwery internetowe i źródła danych do wyodrębniania danych logowania.
Logstash zapewnia wiele wtyczek do analizowania i przekształcania danych logowania do dowolnego formatu pożądanego przez użytkownika.
Logstash jest scentralizowany, co ułatwia przetwarzanie i zbieranie danych z różnych serwerów.
Logstash obsługuje wiele baz danych, protokołów sieciowych i innych usług jako docelowe źródło zdarzeń rejestrowania.
Logstash używa protokołu HTTP, który umożliwia użytkownikowi aktualizację wersji Elasticsearch bez konieczności uaktualniania Logstash w trybie blokady.

Wady Logstash

Poniższe punkty wyjaśniają różne wady Logstash.

Logstash używa protokołu http, co negatywnie wpływa na przetwarzanie danych logowania.
Praca z Logstash może być czasami nieco skomplikowana, ponieważ wymaga dobrego zrozumienia i analizy danych wejściowych do logowania.
Wtyczki filtrów nie są ogólne, więc użytkownik może potrzebować znaleźć poprawną sekwencję wzorców, aby uniknąć błędów podczas analizowania.

W następnym rozdziale zrozumiemy, czym jest stos ELK i jak pomaga Logstash.