Hadoop-HDFSオペレーション

HDFSの開始

最初に、構成済みのHDFSファイルシステムをフォーマットし、namenode(HDFSサーバー)を開いて、次のコマンドを実行する必要があります。

$ hadoop namenode -format

HDFSをフォーマットした後、分散ファイルシステムを起動します。次のコマンドは、namenodeとデータノードをクラスターとして起動します。

$ start-dfs.sh

HDFSでのファイルの一覧表示

サーバーに情報をロードした後、ディレクトリ内のファイルのリスト、ファイルのステータスを、を使用して見つけることができます ‘ls’。以下に示すのは、ls ディレクトリまたはファイル名に引数として渡すことができます。

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

HDFSへのデータの挿入

ローカルシステムのfile.txtというファイルに、hdfsファイルシステムに保存する必要のあるデータがあるとします。以下の手順に従って、必要なファイルをHadoopファイルシステムに挿入します。

ステップ1

入力ディレクトリを作成する必要があります。

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

ステップ2

putコマンドを使用して、ローカルシステムからHadoopファイルシステムにデータファイルを転送して保存します。

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

ステップ3

lsコマンドを使用してファイルを確認できます。

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

HDFSからのデータの取得

HDFSに次のファイルがあるとします。 outfile。以下に示すのは、Hadoopファイルシステムから必要なファイルを取得するための簡単なデモンストレーションです。

ステップ1

最初に、を使用してHDFSからのデータを表示します cat コマンド。

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

ステップ2

を使用してHDFSからローカルファイルシステムにファイルを取得します get コマンド。

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

HDFSのシャットダウン

次のコマンドを使用して、HDFSをシャットダウンできます。

$ stop-dfs.sh