Hadoop-HDFSオペレーション

HDFSの開始

最初に、構成済みのHDFSファイルシステムをフォーマットし、namenode（HDFSサーバー）を開いて、次のコマンドを実行する必要があります。

$ hadoop namenode -format

HDFSをフォーマットした後、分散ファイルシステムを起動します。次のコマンドは、namenodeとデータノードをクラスターとして起動します。

$ start-dfs.sh

サーバーに情報をロードした後、ディレクトリ内のファイルのリスト、ファイルのステータスを、を使用して見つけることができます ‘ls’。以下に示すのは、ls ディレクトリまたはファイル名に引数として渡すことができます。

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

ローカルシステムのfile.txtというファイルに、hdfsファイルシステムに保存する必要のあるデータがあるとします。以下の手順に従って、必要なファイルをHadoopファイルシステムに挿入します。

入力ディレクトリを作成する必要があります。

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

putコマンドを使用して、ローカルシステムからHadoopファイルシステムにデータファイルを転送して保存します。

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

lsコマンドを使用してファイルを確認できます。

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

HDFSに次のファイルがあるとします。 outfile。以下に示すのは、Hadoopファイルシステムから必要なファイルを取得するための簡単なデモンストレーションです。

最初に、を使用してHDFSからのデータを表示します cat コマンド。

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

を使用してHDFSからローカルファイルシステムにファイルを取得します get コマンド。

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

次のコマンドを使用して、HDFSをシャットダウンできます。

$ stop-dfs.sh