MapReduce - Administrasi Hadoop
Bab ini menjelaskan administrasi Hadoop yang mencakup administrasi HDFS dan MapReduce.
Administrasi HDFS mencakup pemantauan struktur file HDFS, lokasi, dan file yang diperbarui.
Administrasi MapReduce termasuk memantau daftar aplikasi, konfigurasi node, status aplikasi, dll.
Pemantauan HDFS
HDFS (Hadoop Distributed File System) berisi direktori pengguna, file input, dan file output. Gunakan perintah MapReduce,put dan get, untuk menyimpan dan mengambil.
Setelah memulai kerangka kerja Hadoop (daemon) dengan meneruskan perintah "start-all.sh" pada "/ $ HADOOP_HOME / sbin", berikan URL berikut ke browser "http: // localhost: 50070". Anda harus melihat layar berikut di browser Anda.
Tangkapan layar berikut menunjukkan cara menelusuri HDFS.
Tangkapan layar berikut menunjukkan struktur file HDFS. Ini menunjukkan file di direktori "/ user / hadoop".
Tangkapan layar berikut menunjukkan informasi Datanode di cluster. Di sini Anda dapat menemukan satu node dengan konfigurasi dan kapasitasnya.
Pemantauan Pekerjaan MapReduce
Aplikasi MapReduce adalah kumpulan pekerjaan (pekerjaan Peta, Penggabung, Pemartisi, dan Kurangi pekerjaan). Ini wajib untuk memantau dan memelihara berikut ini -
- Konfigurasi datanode di mana aplikasi cocok.
- Jumlah datanoda dan resource yang digunakan per aplikasi.
Untuk memantau semua hal ini, kita harus memiliki antarmuka pengguna. Setelah memulai kerangka kerja Hadoop dengan meneruskan perintah "start-all.sh" pada "/ $ HADOOP_HOME / sbin", berikan URL berikut ke browser "http: // localhost: 8080". Anda harus melihat layar berikut di browser Anda.
Pada gambar di atas, penunjuk tangan ada di ID aplikasi. Cukup klik di atasnya untuk menemukan layar berikut di browser Anda. Ini menjelaskan hal berikut -
Pada pengguna mana aplikasi saat ini sedang berjalan
Nama aplikasi
Jenis aplikasi itu
Status saat ini, status akhir
Waktu mulai aplikasi, berlalu (waktu selesai), jika selesai pada saat pemantauan
Sejarah aplikasi ini, yaitu informasi log
Dan terakhir, informasi node, yaitu node yang berpartisipasi dalam menjalankan aplikasi.
Tangkapan layar berikut menunjukkan detail aplikasi tertentu -
Tangkapan layar berikut menjelaskan informasi node yang sedang berjalan. Di sini, tangkapan layar hanya berisi satu node. Sebuah penunjuk tangan menunjukkan alamat localhost dari node yang sedang berjalan.
