Hadoop - Operasi HDFS

Memulai HDFS

Awalnya Anda harus memformat sistem file HDFS yang dikonfigurasi, buka namenode (server HDFS), dan jalankan perintah berikut.

$ hadoop namenode -format

Setelah memformat HDFS, mulai sistem file terdistribusi. Perintah berikut akan memulai namenode serta node data sebagai cluster.

$ start-dfs.sh

Daftar File dalam HDFS

Setelah memuat informasi di server, kita dapat menemukan daftar file di direktori, status file, menggunakan ‘ls’. Diberikan di bawah ini adalah sintaksls yang dapat Anda berikan ke direktori atau nama file sebagai argumen.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Memasukkan Data ke HDFS

Asumsikan kita memiliki data dalam file bernama file.txt di sistem lokal yang seharusnya disimpan di sistem file hdfs. Ikuti langkah-langkah yang diberikan di bawah ini untuk memasukkan file yang diperlukan dalam sistem file Hadoop.

Langkah 1

Anda harus membuat direktori masukan.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Langkah 2

Transfer dan simpan file data dari sistem lokal ke sistem file Hadoop menggunakan perintah put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

LANGKAH 3

Anda dapat memverifikasi file menggunakan perintah ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Mengambil Data dari HDFS

Asumsikan kita memiliki file dalam HDFS bernama outfile. Diberikan di bawah ini adalah demonstrasi sederhana untuk mengambil file yang diperlukan dari sistem file Hadoop.

Langkah 1

Awalnya, lihat data dari HDFS menggunakan cat perintah.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Langkah 2

Dapatkan file dari HDFS ke sistem file lokal menggunakan get perintah.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Mematikan HDFS

Anda dapat mematikan HDFS dengan menggunakan perintah berikut.

$ stop-dfs.sh