Hadoop - operacje na HDFS

Uruchamiam HDFS

Początkowo musisz sformatować skonfigurowany system plików HDFS, otworzyć namenode (serwer HDFS) i wykonać następujące polecenie.

$ hadoop namenode -format

Po sformatowaniu HDFS uruchom rozproszony system plików. Następujące polecenie uruchomi węzeł nazw, a także węzły danych jako klaster.

$ start-dfs.sh

Lista plików w HDFS

Po załadowaniu informacji na serwer możemy znaleźć listę plików w katalogu, status pliku, używając ‘ls’. Poniżej podano składnięls który możesz przekazać do katalogu lub nazwy pliku jako argument.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Wstawianie danych do HDFS

Załóżmy, że mamy dane w pliku o nazwie file.txt w systemie lokalnym, który powinien być zapisany w systemie plików hdfs. Wykonaj czynności podane poniżej, aby wstawić wymagany plik do systemu plików Hadoop.

Krok 1

Musisz utworzyć katalog wejściowy.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Krok 2

Przesyłaj i przechowuj plik danych z systemów lokalnych do systemu plików Hadoop za pomocą polecenia put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Krok 3

Możesz zweryfikować plik za pomocą polecenia ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Pobieranie danych z HDFS

Załóżmy, że mamy plik w HDFS o nazwie outfile. Poniżej przedstawiono prostą demonstrację pobierania wymaganego pliku z systemu plików Hadoop.

Krok 1

Początkowo wyświetl dane z HDFS przy użyciu cat Komenda.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Krok 2

Pobierz plik z HDFS do lokalnego systemu plików przy użyciu get Komenda.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Zamykanie HDFS

Możesz zamknąć HDFS za pomocą następującego polecenia.

$ stop-dfs.sh