Splunk - Panduan Cepat
Splunk adalah perangkat lunak yang memproses dan menghadirkan wawasan dari data mesin dan bentuk data besar lainnya. Data mesin ini dihasilkan oleh CPU yang menjalankan server web, perangkat IOT, log dari aplikasi seluler, dll. Data ini tidak perlu diberikan kepada pengguna akhir dan tidak memiliki arti bisnis apa pun. Namun, mereka sangat penting untuk memahami, memantau, dan mengoptimalkan kinerja mesin.
Splunk dapat membaca data tidak terstruktur, semi-terstruktur, atau jarang terstruktur ini. Setelah membaca data, memungkinkan untuk mencari, memberi tag, membuat laporan dan dasbor pada data tersebut. Dengan munculnya data besar, Splunk sekarang dapat menyerap data besar dari berbagai sumber, yang mungkin atau mungkin bukan data mesin dan menjalankan analitik pada data besar.
Jadi, dari alat sederhana untuk analisis log, Splunk telah berkembang pesat menjadi alat analisis umum untuk data mesin yang tidak terstruktur dan berbagai bentuk data besar.
Kategori Produk
Splunk tersedia dalam tiga kategori produk yang berbeda sebagai berikut -
Splunk Enterprise- Digunakan oleh perusahaan yang memiliki infrastruktur IT yang besar dan bisnis yang digerakkan oleh IT. Ini membantu dalam mengumpulkan dan menganalisis data dari situs web, aplikasi, perangkat dan sensor, dll.
Splunk Cloud- Ini adalah platform yang dihosting di cloud dengan fitur yang sama dengan versi perusahaan. Ini dapat diperoleh dari Splunk itu sendiri atau melalui platform cloud AWS.
Splunk Light- Ini memungkinkan pencarian, laporan dan peringatan pada semua data log secara real time dari satu tempat. Ini memiliki fungsi dan fitur terbatas dibandingkan dengan dua versi lainnya.
Fitur Splunk
Pada bagian ini, kita akan membahas fitur-fitur penting edisi perusahaan -
Penyerapan Data
Splunk dapat menyerap berbagai format data seperti JSON, XML, dan data mesin tidak terstruktur seperti web dan log aplikasi. Data yang tidak terstruktur tersebut dapat dimodelkan menjadi suatu struktur data sesuai kebutuhan pengguna.
Pengindeksan Data
Data yang diserap diindeks oleh Splunk untuk pencarian dan kueri yang lebih cepat pada kondisi yang berbeda.
Pencarian Data
Pencarian di Splunk melibatkan penggunaan data yang diindeks untuk tujuan membuat metrik, memprediksi tren masa depan dan mengidentifikasi pola dalam data.
Menggunakan Alerts
Peringatan splunk dapat digunakan untuk memicu email atau RSS feed ketika beberapa kriteria tertentu ditemukan dalam data yang dianalisis.
Dasbor
Splunk Dashboard dapat menampilkan hasil pencarian dalam bentuk grafik, laporan dan pivot, dll.
Model data
Data yang diindeks dapat dimodelkan menjadi satu atau lebih kumpulan data yang didasarkan pada pengetahuan domain khusus. Ini mengarah pada navigasi yang lebih mudah oleh pengguna akhir yang menganalisis kasus bisnis tanpa mempelajari teknis bahasa pemrosesan pencarian yang digunakan oleh Splunk.
Dalam tutorial ini, kami bertujuan untuk menginstal versi perusahaan. Versi ini tersedia untuk evaluasi gratis selama 60 hari dengan semua fitur diaktifkan. Anda dapat mengunduh pengaturan menggunakan tautan di bawah ini yang tersedia untuk platform windows dan Linux.
https://www.splunk.com/en_us/download/splunk-enterprise.html.
Versi Linux
Versi Linux diunduh dari tautan unduhan yang diberikan di atas. Kami memilih jenis paket .deb karena instalasi akan dilakukan di platform Ubuntu.
Kita akan mempelajari ini dengan pendekatan langkah demi langkah -
Langkah 1
Unduh paket .deb seperti yang ditunjukkan pada gambar di bawah -
Langkah 2
Buka direktori unduhan dan instal Splunk menggunakan paket unduhan di atas.
LANGKAH 3
Selanjutnya Anda dapat memulai Splunk dengan menggunakan perintah berikut dengan menerima argumen lisensi. Ini akan meminta nama pengguna dan kata sandi administrator yang harus Anda berikan dan ingat.
LANGKAH 4
Server Splunk memulai dan menyebutkan URL tempat antarmuka Splunk dapat diakses.
LANGKAH 5
Sekarang, Anda dapat mengakses URL Splunk dan memasukkan ID pengguna dan kata sandi admin yang dibuat pada langkah 3.
Versi Windows
Versi windows tersedia sebagai penginstal msi seperti yang ditunjukkan pada gambar di bawah ini -
Mengklik dua kali pada penginstal msi menginstal versi Windows dalam proses yang lurus ke depan. Dua langkah penting di mana kita harus membuat pilihan yang tepat agar instalasi berhasil adalah sebagai berikut.
Langkah 1
Saat kami menginstalnya di sistem lokal, pilih opsi sistem lokal seperti yang diberikan di bawah ini -
Langkah 2
Masukkan kata sandi untuk administrator dan ingat, karena ini akan digunakan pada konfigurasi mendatang.
LANGKAH 3
Pada langkah terakhir, kita melihat bahwa Splunk berhasil diinstal dan dapat diluncurkan dari browser web.
LANGKAH 4
Selanjutnya, buka browser dan masukkan url yang diberikan, http://localhost:8000, dan login ke Splunk menggunakan ID pengguna dan kata sandi admin.
Antarmuka web Splunk terdiri dari semua alat yang Anda butuhkan untuk mencari, melaporkan, dan menganalisis data yang diserap. Antarmuka web yang sama menyediakan fitur untuk mengelola pengguna dan peran mereka. Ini juga menyediakan tautan untuk penyerapan data dan aplikasi bawaan yang tersedia di Splunk.
Gambar di bawah ini menunjukkan layar awal setelah Anda login ke Splunk dengan kredensial admin.
Tautan Administrator
Drop down Administrator memberikan opsi untuk mengatur dan mengedit rincian administrator. Kami dapat mengatur ulang ID email admin dan kata sandi menggunakan layar di bawah ini -
Lebih jauh dari tautan administrator, kami juga dapat menavigasi ke opsi preferensi di mana kami dapat mengatur zona waktu dan aplikasi beranda tempat halaman arahan akan terbuka setelah Anda masuk. Saat ini, itu dibuka di halaman Beranda seperti yang ditunjukkan di bawah ini -
Tautan Pengaturan
Ini adalah tautan yang menunjukkan semua fitur inti yang tersedia di Splunk. Misalnya, Anda dapat menambahkan file pencarian dan definisi pencarian dengan memilih link pencarian.
Kami akan membahas pengaturan penting dari tautan ini di bab-bab selanjutnya.
Tautan Penelusuran dan Pelaporan
Tautan penelusuran dan pelaporan membawa kami ke fitur tempat kami dapat menemukan kumpulan data yang tersedia untuk menelusuri laporan dan peringatan yang dibuat untuk penelusuran tersebut. Itu jelas ditunjukkan pada gambar di bawah -
Penyerapan data di Splunk terjadi melalui Add Datafitur yang merupakan bagian dari aplikasi penelusuran dan pelaporan. Setelah masuk, layar beranda antarmuka Splunk menampilkan fileAdd Data ikon seperti yang ditunjukkan di bawah ini.
Saat mengklik tombol ini, kami disajikan dengan layar untuk memilih sumber dan format data yang kami rencanakan untuk dimasukkan ke Splunk untuk dianalisis.
Mengumpulkan Data
Kami bisa mendapatkan data untuk analisis dari Situs Resmi Splunk. Simpan file ini dan unzip di drive lokal Anda. Saat membuka folder tersebut, Anda dapat menemukan tiga file yang memiliki format berbeda. Mereka adalah data log yang dihasilkan oleh beberapa aplikasi web. Kami juga dapat mengumpulkan kumpulan data lain yang disediakan oleh Splunk yang tersedia di dari halaman web Resmi Splunk.
Kami akan menggunakan data dari kedua set ini untuk memahami cara kerja berbagai fitur Splunk.
Mengupload data
Selanjutnya kita pilih file nya, secure.log dari folder, mailsvyang kami simpan di sistem lokal kami seperti yang disebutkan di paragraf sebelumnya. Setelah memilih file, kami pindah ke langkah berikutnya menggunakan tombol berikutnya berwarna hijau di sudut kanan atas.
Memilih Jenis Sumber
Splunk memiliki fitur built-in untuk mendeteksi jenis data yang sedang diserap. Ini juga memberi pengguna opsi untuk memilih tipe data yang berbeda dari yang dipilih oleh Splunk. Saat mengklik drop-down tipe sumber, kita dapat melihat berbagai tipe data yang dapat diserap dan diaktifkan Splunk untuk pencarian.
Dalam contoh saat ini yang diberikan di bawah ini, kami memilih tipe sumber default.
Pengaturan Input
Dalam langkah penyerapan data ini, kami mengonfigurasi nama host tempat data diserap. Berikut adalah opsi untuk dipilih, untuk nama host -
Nilai konstan
Ini adalah nama host lengkap tempat data sumber berada.
ekspresi reguler di jalur
Saat Anda ingin mengekstrak nama host dengan ekspresi reguler. Kemudian masukkan regex untuk host yang ingin Anda ekstrak di bidang Ekspresi reguler.
segmen di jalan
Jika Anda ingin mengekstrak nama host dari segmen di jalur sumber data Anda, masukkan nomor segmen di bidang Nomor segmen. Misalnya, jika jalur ke sumber adalah / var / log / dan Anda ingin segmen ketiga (nama server host) menjadi nilai host, masukkan "3".
Selanjutnya, kami memilih jenis indeks yang akan dibuat pada data masukan untuk pencarian. Kami memilih strategi indeks default. Indeks ringkasan hanya membuat ringkasan data melalui agregasi dan membuat indeks di atasnya sementara indeks histori digunakan untuk menyimpan histori pencarian. Ini secara jelas digambarkan pada gambar di bawah -
Tinjau Pengaturan
Setelah mengklik tombol selanjutnya, kami melihat ringkasan pengaturan yang telah kami pilih. Kami memeriksanya dan memilih Berikutnya untuk menyelesaikan pengunggahan data.
Saat menyelesaikan pemuatan, layar di bawah ini muncul yang menunjukkan penyerapan data yang berhasil dan kemungkinan tindakan lebih lanjut yang dapat kami lakukan pada data.
Semua data yang masuk ke Splunk pertama-tama dinilai oleh unit pemrosesan data inbuilt dan diklasifikasikan ke tipe dan kategori data tertentu. Misalnya, jika itu adalah log dari server web apache, Splunk dapat mengenalinya dan membuat bidang yang sesuai dari data yang dibaca.
Fitur di Splunk ini disebut deteksi jenis sumber dan menggunakan jenis sumber bawaan yang dikenal sebagai jenis sumber "yang dilatih sebelumnya" untuk mencapai hal ini.
Hal ini mempermudah analisis karena pengguna tidak harus mengklasifikasikan data secara manual dan menetapkan tipe data apa pun ke bidang data yang masuk.
Jenis Sumber yang Didukung
Jenis sumber yang didukung di Splunk dapat dilihat dengan mengunggah file melalui Add Datafitur dan kemudian memilih dropdown untuk Jenis Sumber. Pada gambar di bawah ini, kami telah mengunggah file CSV dan kemudian memeriksa semua opsi yang tersedia.
Jenis Sumber Sub-Kategori
Bahkan dalam kategori tersebut, kita dapat mengklik lebih lanjut untuk melihat semua sub kategori yang didukung. Jadi ketika Anda memilih kategori database, Anda dapat menemukan berbagai jenis database dan file yang didukungnya yang dapat dikenali oleh Splunk.
Jenis Sumber yang Terlatih
Tabel di bawah ini mencantumkan beberapa jenis sumber terlatih yang dikenali Splunk -
| Nama Jenis Sumber | Alam |
|---|---|
| access_combined | NCSA format gabungan log server web http (dapat dibuat oleh apache atau server web lain) |
| access_combined_wcookie | NCSA format gabungan log server web http (dapat dibuat oleh apache atau server web lain), dengan bidang cookie ditambahkan di bagian akhir |
| apache_error | Log kesalahan server web Apache standar |
| linux_messages_syslog | Sistem linux standar (/ var / log / messages pada kebanyakan platform) |
| log4j | Output standar Log4j dihasilkan oleh server J2EE mana pun yang menggunakan log4j |
| mysqld_error | Log kesalahan standar mysql |
Splunk memiliki fungsi pencarian yang kuat yang memungkinkan Anda untuk mencari seluruh kumpulan data yang diserap. Fitur ini diakses melalui aplikasi bernamaSearch & Reporting yang dapat dilihat di bilah sisi kiri setelah masuk ke antarmuka web.
Saat mengklik search & Reporting aplikasi, kita disajikan dengan kotak pencarian, di mana kita dapat memulai pencarian kita pada data log yang kita unggah di bab sebelumnya.
Kami mengetik nama host dalam format seperti yang ditunjukkan di bawah ini dan mengklik ikon pencarian yang ada di sudut paling kanan. Ini memberi kita hasil yang menyoroti istilah pencarian.
Menggabungkan Istilah Pencarian
Kita dapat menggabungkan istilah yang digunakan untuk pencarian dengan menuliskannya satu demi satu tetapi meletakkan string pencarian pengguna di bawah tanda kutip ganda.
Menggunakan Wild Card
Kami dapat menggunakan kartu liar dalam opsi pencarian kami yang dikombinasikan dengan AND/ORoperator. Pada pencarian di bawah ini, kita mendapatkan hasil di mana file log memiliki istilah yang berisi gagal, gagal, gagal, dll., Bersama dengan istilah kata sandi di baris yang sama.
Menyaring Hasil Pencarian
Kami selanjutnya dapat mempersempit hasil pencarian dengan memilih string dan menambahkannya ke pencarian. Pada contoh di bawah ini, kami mengklik string3351 dan pilih opsi Add to Search.
Setelah 3351ditambahkan ke istilah pencarian, kita mendapatkan hasil di bawah ini yang hanya menunjukkan baris-baris dari log yang mengandung 3351 di dalamnya. Juga tandai bagaimana garis waktu dari hasil pencarian telah berubah saat kita mempersempit pencarian.
Ketika Splunk membaca data mesin yang diunggah, Splunk menginterpretasikan data dan membaginya menjadi banyak bidang yang mewakili satu fakta logis tentang seluruh rekaman data.
Misalnya, satu catatan informasi mungkin berisi nama server, stempel waktu peristiwa, jenis peristiwa yang dicatat baik upaya login atau tanggapan http, dll. Bahkan dalam kasus data tidak terstruktur, Splunk mencoba membagi bidang menjadi nilai kunci memasangkan atau memisahkan mereka berdasarkan tipe data yang mereka miliki, numerik dan string, dll.
Melanjutkan data yang diunggah pada bab sebelumnya, kita dapat melihat bidang dari secure.logfile dengan mengklik link show field yang akan membuka layar berikut. Kita dapat melihat bidang yang dihasilkan Splunk dari file log ini.
Memilih Bidang
Kita dapat memilih field apa yang akan ditampilkan dengan memilih atau membatalkan pilihan field dari daftar semua field. Mengklikall fieldsmembuka jendela yang menampilkan daftar semua bidang. Beberapa bidang ini memiliki tanda centang yang menunjukkan bahwa mereka sudah dipilih. Kami dapat menggunakan kotak centang untuk memilih bidang kami untuk ditampilkan.
Selain nama bidang, ini menampilkan jumlah nilai berbeda yang dimiliki bidang, tipe datanya dan persentase kejadian di bidang ini.
Ringkasan Lapangan
Statistik yang sangat rinci untuk setiap bidang yang dipilih menjadi tersedia dengan mengklik nama bidang. Ini menunjukkan semua nilai yang berbeda untuk bidang tersebut, jumlah dan persentase mereka.
Menggunakan Fields in Search
Nama bidang juga dapat dimasukkan ke dalam kotak pencarian bersama dengan nilai spesifik untuk pencarian. Dalam contoh di bawah ini, kami bertujuan untuk menemukan semua catatan untuk tanggal, 15 Oktober untuk nama hostmailsecure_log. Kami mendapatkan hasil untuk tanggal khusus ini.
Antarmuka web Splunk menampilkan garis waktu yang menunjukkan distribusi peristiwa selama rentang waktu tertentu. Ada interval waktu preset dari mana Anda dapat memilih rentang waktu tertentu, atau Anda dapat menyesuaikan rentang waktu sesuai kebutuhan Anda.
Layar di bawah ini menunjukkan berbagai opsi garis waktu prasetel. Memilih salah satu opsi ini akan mengambil data hanya untuk jangka waktu tertentu yang juga dapat Anda analisis lebih lanjut, menggunakan opsi garis waktu kustom yang tersedia.
Misalnya, memilih opsi bulan sebelumnya memberi kita hasil hanya untuk bulan sebelumnya seperti yang Anda lihat sebaran grafik garis waktu di bawah ini.
Memilih Subset Waktu
Dengan mengklik dan menyeret melintasi bar di timeline, kita dapat memilih subset dari hasil yang sudah ada. Ini tidak menyebabkan eksekusi ulang kueri. Itu hanya menyaring catatan dari kumpulan hasil yang ada.
Gambar di bawah ini menunjukkan pilihan subset dari set hasil -
Terlama dan Terbaru
Dua perintah, paling awal dan terbaru dapat digunakan di bilah pencarian untuk menunjukkan rentang waktu di mana Anda memfilter hasil. Ini mirip dengan memilih subset waktu, tetapi melalui perintah daripada pilihan mengklik pada baris waktu tertentu. Jadi, ini memberikan kontrol yang lebih baik atas rentang data yang dapat Anda pilih untuk analisis Anda.
Pada gambar di atas, kami memberikan rentang waktu antara 7 hari terakhir hingga 15 hari terakhir. Jadi, data di antara dua hari ini ditampilkan.
Acara Terdekat
Kami juga dapat menemukan acara terdekat pada waktu tertentu dengan menyebutkan seberapa dekat kami ingin acara tersebut disaring. Kami memiliki opsi untuk memilih skala interval, seperti - detik, menit, hari dan minggu, dll.
Saat Anda menjalankan kueri pencarian, hasilnya disimpan sebagai pekerjaan di server Splunk. Meskipun pekerjaan ini dibuat oleh satu pengguna tertentu, pekerjaan ini dapat dibagikan dengan pengguna lain sehingga mereka dapat mulai menggunakan kumpulan hasil ini tanpa perlu membuat kueri untuk itu lagi. Hasilnya juga dapat diekspor dan disimpan sebagai file yang dapat dibagikan dengan pengguna yang tidak menggunakan Splunk.
Berbagi Hasil Pencarian
Setelah kueri berhasil dijalankan, kita dapat melihat panah kecil ke atas di kanan tengah halaman web. Mengklik ikon ini memberikan URL tempat kueri dan hasilnya dapat diakses. Ada kebutuhan untuk memberikan izin kepada pengguna yang akan menggunakan tautan ini. Izin diberikan melalui antarmuka administrasi Splunk.
Menemukan Hasil Tersimpan
Pekerjaan yang disimpan untuk digunakan oleh semua pengguna dengan izin yang sesuai dapat ditemukan dengan mencari tautan pekerjaan di bawah menu aktivitas di bilah kanan atas antarmuka Splunk. Pada gambar di bawah ini, kami mengklik tautan yang disorot bernama pekerjaan untuk menemukan pekerjaan yang disimpan.
Setelah tautan di atas diklik, kami mendapatkan daftar semua pekerjaan yang disimpan seperti yang ditunjukkan di bawah ini. Dia, kita harus mencatat bahwa ada posting tanggal kedaluwarsa di mana pekerjaan yang disimpan akan secara otomatis dihapus dari Splunk. Anda dapat menyesuaikan tanggal ini dengan memilih pekerjaan dan mengklik Edit yang dipilih lalu memilih Perpanjang Kedaluwarsa.
Mengekspor Hasil Pencarian
Kami juga dapat mengekspor hasil pencarian ke dalam file. Tiga format berbeda yang tersedia untuk ekspor adalah: CSV, XML dan JSON. Mengklik tombol Ekspor setelah memilih format mengunduh file dari browser lokal ke sistem lokal. Ini dijelaskan pada gambar di bawah ini -
Splunk Search Processing Language (SPL) adalah bahasa yang berisi banyak perintah, fungsi, argumen, dll., Yang ditulis untuk mendapatkan hasil yang diinginkan dari kumpulan data. Misalnya, ketika Anda mendapatkan hasil yang ditetapkan untuk istilah pencarian, Anda mungkin ingin memfilter beberapa istilah yang lebih spesifik dari kumpulan hasil. Untuk ini, Anda memerlukan beberapa perintah tambahan untuk ditambahkan ke perintah yang ada. Ini dicapai dengan mempelajari penggunaan SPL.
Komponen SPL
SPL memiliki komponen berikut.
Search Terms - Ini adalah kata kunci atau frase yang Anda cari.
Commands - Tindakan yang ingin Anda lakukan pada set hasil seperti memformat hasil atau menghitungnya.
Functions- Perhitungan apa yang akan Anda terapkan pada hasil. Seperti Jumlah, Rata-rata, dll.
Clauses - Bagaimana mengelompokkan atau mengganti nama bidang di set hasil.
Mari kita bahas semua komponen dengan bantuan gambar di bagian bawah -
Istilah Pencarian
Ini adalah istilah yang Anda sebutkan di bilah pencarian untuk mendapatkan catatan spesifik dari kumpulan data yang memenuhi kriteria pencarian. Dalam contoh di bawah ini, kami mencari rekaman yang berisi dua istilah yang disorot.
Perintah
Anda dapat menggunakan banyak perintah built-in yang disediakan SPL untuk menyederhanakan proses analisis data dalam kumpulan hasil. Pada contoh di bawah ini kami menggunakan perintah head untuk menyaring hanya 3 hasil teratas dari operasi pencarian.
Fungsi
Bersamaan dengan perintah, Splunk juga menyediakan banyak fungsi built-in yang dapat mengambil masukan dari bidang yang sedang dianalisis dan memberikan keluaran setelah menerapkan perhitungan pada bidang tersebut. Dalam contoh di bawah ini, kami menggunakanStats avg() fungsi yang menghitung nilai rata-rata bidang numerik yang diambil sebagai input.
Klausul
Ketika kami ingin mendapatkan hasil yang dikelompokkan berdasarkan beberapa bidang tertentu atau kami ingin mengganti nama bidang di output, kami menggunakan group byklausa dan klausa as masing-masing. Dalam contoh di bawah ini, kami mendapatkan ukuran rata-rata byte dari setiap file yang ada di fileweb_applicationcatatan. Seperti yang Anda lihat, hasilnya menunjukkan nama setiap file serta byte rata-rata untuk setiap file.
