Logstash - เอาต์พุตที่รองรับ

Logstash มี Plugins หลายตัวเพื่อรองรับการจัดเก็บข้อมูลหรือเครื่องมือค้นหาต่างๆ เหตุการณ์เอาต์พุตของบันทึกสามารถส่งไปยังไฟล์เอาต์พุตเอาต์พุตมาตรฐานหรือเครื่องมือค้นหาเช่น Elasticsearch มีเอาต์พุตที่รองรับสามประเภทใน Logstash ได้แก่ -

เอาต์พุตมาตรฐาน
ไฟล์เอาต์พุต
เอาต์พุต Null

ตอนนี้ให้เราคุยรายละเอียดแต่ละเรื่องเหล่านี้

เอาต์พุตมาตรฐาน (stdout)

ใช้สำหรับสร้างเหตุการณ์บันทึกที่กรองแล้วเป็นสตรีมข้อมูลไปยังอินเทอร์เฟซบรรทัดคำสั่ง นี่คือตัวอย่างของการสร้างระยะเวลาทั้งหมดของธุรกรรมฐานข้อมูลไปยัง stdout

logstash.conf

ไฟล์กำหนดค่านี้มีปลั๊กอินเอาต์พุต stdout เพื่อเขียน sql_duration ทั้งหมดไปยังเอาต์พุตมาตรฐาน

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input.log"
   }
} 
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid}
            - %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" 
      ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ;
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
}
output {
   if [logger] == "TRANSACTION_END" {
      stdout {
         codec => line{format => "%{sql_duration}"}
      }
   }
}

Note - โปรดติดตั้งตัวกรองรวมหากยังไม่ได้ติดตั้ง

>logstash-plugin install Logstash-filter-aggregate

เรียกใช้ Logstash

เราสามารถเรียกใช้ Logstash โดยใช้คำสั่งต่อไปนี้

>logstash –f logsatsh.conf

Input.log

บล็อกรหัสต่อไปนี้แสดงข้อมูลบันทึกการป้อนข้อมูล

INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END – end

stdout (จะเป็นพร้อมรับคำสั่งใน windows หรือเทอร์มินัลใน UNIX)

นี่คือ sql_duration ทั้งหมด 320 + 200 = 520

ไฟล์เอาต์พุต

Logstash ยังสามารถจัดเก็บเหตุการณ์บันทึกตัวกรองไปยังไฟล์เอาต์พุต เราจะใช้ตัวอย่างที่กล่าวถึงข้างต้นและเก็บผลลัพธ์ไว้ในไฟล์แทน STDOUT

logstash.conf

ไฟล์กำหนดค่า Logstash นี้โดยตรง Logstash เพื่อจัดเก็บ sql_duration ทั้งหมดไปยังไฟล์บันทึกเอาต์พุต

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input1.log"
   }
} 
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} -
            %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" 
      ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ;
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
}
output {
   if [logger] == "TRANSACTION_END" {
      file {
         path => "C:/tpwork/logstash/bin/log/output.log"
         codec => line{format => "%{sql_duration}"}
      }
   }
}

เรียกใช้ logstash

เราสามารถเรียกใช้ Logstash โดยใช้คำสั่งต่อไปนี้

>logstash –f logsatsh.conf

input.log

บล็อกรหัสต่อไปนี้แสดงข้อมูลบันทึกการป้อนข้อมูล

INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END – end

output.log

บล็อกรหัสต่อไปนี้แสดงข้อมูลบันทึกผลลัพธ์

เอาต์พุต Null

นี่คือปลั๊กอินเอาต์พุตพิเศษซึ่งใช้สำหรับวิเคราะห์ประสิทธิภาพของปลั๊กอินอินพุตและตัวกรอง