MapReduce-Hadoop管理
この章では、HDFSとMapReduceの両方の管理を含むHadoop管理について説明します。
HDFS管理には、HDFSファイルの構造、場所、および更新されたファイルの監視が含まれます。
MapReduceの管理には、アプリケーションのリスト、ノードの構成、アプリケーションのステータスなどの監視が含まれます。
HDFSモニタリング
HDFS(Hadoop分散ファイルシステム)には、ユーザーディレクトリ、入力ファイル、および出力ファイルが含まれています。MapReduceコマンドを使用します。put そして get, 保存および取得用。
「/ $ HADOOP_HOME / sbin」でコマンド「start-all.sh」を渡してHadoopフレームワーク(デーモン)を起動した後、次のURLをブラウザ「http:// localhost:50070」に渡します。ブラウザに次の画面が表示されます。
次のスクリーンショットは、ブラウズHDFSをブラウズする方法を示しています。
次のスクリーンショットは、HDFSのファイル構造を示しています。「/ user / hadoop」ディレクトリ内のファイルが表示されます。
次のスクリーンショットは、クラスター内のデータノード情報を示しています。ここでは、構成と容量を備えた1つのノードを見つけることができます。
MapReduceジョブモニタリング
MapReduceアプリケーションは、ジョブのコレクションです(Mapジョブ、Combiner、Partitioner、およびReduceジョブ)。以下を監視および維持することが必須です-
- アプリケーションが適しているデータノードの構成。
- アプリケーションごとに使用されるデータノードとリソースの数。
これらすべてを監視するには、ユーザーインターフェイスが必要です。「/ $ HADOOP_HOME / sbin」でコマンド「start-all.sh」を渡してHadoopフレームワークを起動した後、次のURLをブラウザ「http:// localhost:8080」に渡します。ブラウザに次の画面が表示されます。
上のスクリーンショットでは、ハンドポインターはアプリケーションID上にあります。それをクリックするだけで、ブラウザに次の画面が表示されます。それは次のことを説明しています-
現在のアプリケーションが実行されているユーザー
アプリケーション名
そのアプリケーションの種類
現在のステータス、最終ステータス
アプリケーションの開始時間、経過(完了時間)、監視時に完了した場合
このアプリケーションの履歴、つまりログ情報
そして最後に、ノード情報、つまりアプリケーションの実行に参加したノード。
次のスクリーンショットは、特定のアプリケーションの詳細を示しています-
次のスクリーンショットは、現在実行中のノード情報を示しています。ここでは、スクリーンショットにはノードが1つだけ含まれています。ハンドポインタは、実行中のノードのローカルホストアドレスを示します。