Logstash - Стек ELK
ELK означает Elasticsearch, Logstash, и Kibana. В стеке ELK Logstash извлекает данные регистрации или другие события из разных источников ввода. Он обрабатывает события, а затем сохраняет их в Elasticsearch. Kibana - это веб-интерфейс, который получает доступ к форме данных журнала Elasticsearch и визуализирует ее.
Logstash и Elasticsearch
Logstash предоставляет подключаемый модуль ввода и вывода Elasticsearch для чтения и записи событий журнала в Elasticsearch. Компания Elasticsearch также рекомендует Elasticsearch в качестве места назначения вывода из-за его совместимости с Kibana. Logstash отправляет данные в Elasticsearch по протоколу http.
Elasticsearch предоставляет возможность массовой загрузки, которая помогает загружать данные из разных источников или экземпляров Logstash в централизованный механизм Elasticsearch. ELK имеет следующие преимущества перед другими решениями DevOps:
Стеком ELK проще управлять, и его можно масштабировать для обработки петабайтов событий.
Архитектура стека ELK очень гибкая и обеспечивает интеграцию с Hadoop. Hadoop в основном используется для архивных целей. Logstash можно напрямую подключить к Hadoop с помощью flume, а Elasticsearch предоставляет соединитель с именемes-hadoop для подключения к Hadoop.
Общая стоимость владения ELK намного ниже, чем у его альтернатив.
Логсташ и Кибана
Kibana не взаимодействует с Logstash напрямую, а через источник данных, которым является Elasticsearch в стеке ELK. Logstash собирает данные из всех источников, Elasticsearch анализирует их с очень высокой скоростью, а затем Kibana предоставляет действенную информацию по этим данным.
Kibana - это веб-инструмент визуализации, который помогает разработчикам и другим пользователям анализировать вариации большого количества событий, собираемых Logstash в движке Elasticsearch. Эта визуализация позволяет легко прогнозировать или видеть изменения в тенденциях ошибок или других значимых событиях источника ввода.