MapReduce-Hadoop管理

この章では、HDFSとMapReduceの両方の管理を含むHadoop管理について説明します。

  • HDFS管理には、HDFSファイルの構造、場所、および更新されたファイルの監視が含まれます。

  • MapReduceの管理には、アプリケーションのリスト、ノードの構成、アプリケーションのステータスなどの監視が含まれます。

HDFSモニタリング

HDFS(Hadoop分散ファイルシステム)には、ユーザーディレクトリ、入力ファイル、および出力ファイルが含まれています。MapReduceコマンドを使用します。put そして get, 保存および取得用。

「/ $ HADOOP_HOME / sbin」でコマンド「start-all.sh」を渡してHadoopフレームワーク(デーモン)を起動した後、次のURLをブラウザ「http:// localhost:50070」に渡します。ブラウザに次の画面が表示されます。

次のスクリーンショットは、ブラウズHDFSをブラウズする方法を示しています。

次のスクリーンショットは、HDFSのファイル構造を示しています。「/ user / hadoop」ディレクトリ内のファイルが表示されます。

次のスクリーンショットは、クラスター内のデータノード情報を示しています。ここでは、構成と容量を備えた1つのノードを見つけることができます。

MapReduceジョブモニタリング

MapReduceアプリケーションは、ジョブのコレクションです(Mapジョブ、Combiner、Partitioner、およびReduceジョブ)。以下を監視および維持することが必須です-

  • アプリケーションが適しているデータノードの構成。
  • アプリケーションごとに使用されるデータノードとリソースの数。

これらすべてを監視するには、ユーザーインターフェイスが必要です。「/ $ HADOOP_HOME / sbin」でコマンド「start-all.sh」を渡してHadoopフレームワークを起動した後、次のURLをブラウザ「http:// localhost:8080」に渡します。ブラウザに次の画面が表示されます。

上のスクリーンショットでは、ハンドポインターはアプリケーションID上にあります。それをクリックするだけで、ブラウザに次の画面が表示されます。それは次のことを説明しています-

  • 現在のアプリケーションが実行されているユーザー

  • アプリケーション名

  • そのアプリケーションの種類

  • 現在のステータス、最終ステータス

  • アプリケーションの開始時間、経過(完了時間)、監視時に完了した場合

  • このアプリケーションの履歴、つまりログ情報

  • そして最後に、ノード情報、つまりアプリケーションの実行に参加したノード。

次のスクリーンショットは、特定のアプリケーションの詳細を示しています-

次のスクリーンショットは、現在実行中のノード情報を示しています。ここでは、スクリーンショットにはノードが1つだけ含まれています。ハンドポインタは、実行中のノードのローカルホストアドレスを示します。