Hadoop - HDFS-Operationen

Starten von HDFS

Zunächst müssen Sie das konfigurierte HDFS-Dateisystem formatieren, den Namensknoten (HDFS-Server) öffnen und den folgenden Befehl ausführen.

$ hadoop namenode -format

Starten Sie nach dem Formatieren des HDFS das verteilte Dateisystem. Der folgende Befehl startet den Namensknoten sowie die Datenknoten als Cluster.

$ start-dfs.sh

Auflisten von Dateien in HDFS

Nach dem Laden der Informationen auf den Server können wir die Liste der Dateien in einem Verzeichnis, den Status einer Datei, mithilfe von finden ‘ls’. Unten ist die Syntax von angegebenls dass Sie als Argument an ein Verzeichnis oder einen Dateinamen übergeben können.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Einfügen von Daten in HDFS

Angenommen, wir haben Daten in der Datei file.txt im lokalen System, die im hdfs-Dateisystem gespeichert werden sollen. Führen Sie die folgenden Schritte aus, um die erforderliche Datei in das Hadoop-Dateisystem einzufügen.

Schritt 1

Sie müssen ein Eingabeverzeichnis erstellen.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Schritt 2

Übertragen und speichern Sie eine Datendatei mit dem Befehl put von lokalen Systemen in das Hadoop-Dateisystem.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Schritt 3

Sie können die Datei mit dem Befehl ls überprüfen.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Daten aus HDFS abrufen

Angenommen, wir haben eine Datei in HDFS mit dem Namen outfile. Im Folgenden finden Sie eine einfache Demonstration zum Abrufen der erforderlichen Datei aus dem Hadoop-Dateisystem.

Schritt 1

Zeigen Sie zunächst die Daten von HDFS mit an cat Befehl.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Schritt 2

Holen Sie sich die Datei von HDFS in das lokale Dateisystem mit get Befehl.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

HDFS herunterfahren

Sie können das HDFS mit dem folgenden Befehl herunterfahren.

$ stop-dfs.sh