MapReduce - Hadoop-Verwaltung
In diesem Kapitel wird die Hadoop-Verwaltung erläutert, die sowohl die HDFS- als auch die MapReduce-Verwaltung umfasst.
Die HDFS-Verwaltung umfasst die Überwachung der HDFS-Dateistruktur, der Speicherorte und der aktualisierten Dateien.
Die MapReduce-Verwaltung umfasst die Überwachung der Liste der Anwendungen, die Konfiguration der Knoten, den Anwendungsstatus usw.
HDFS-Überwachung
HDFS (Hadoop Distributed File System) enthält die Benutzerverzeichnisse, Eingabedateien und Ausgabedateien. Verwenden Sie die MapReduce-Befehle.put und get, zum Speichern und Abrufen.
Übergeben Sie nach dem Starten des Hadoop-Frameworks (Daemons) durch Übergeben des Befehls "start-all.sh" unter "/ $ HADOOP_HOME / sbin" die folgende URL an den Browser "http: // localhost: 50070". In Ihrem Browser sollte der folgende Bildschirm angezeigt werden.
Der folgende Screenshot zeigt, wie Sie das durchsuchte HDFS durchsuchen.
Der folgende Screenshot zeigt die Dateistruktur von HDFS. Es zeigt die Dateien im Verzeichnis "/ user / hadoop".
Der folgende Screenshot zeigt die Datenknoteninformationen in einem Cluster. Hier finden Sie einen Knoten mit seinen Konfigurationen und Kapazitäten.
MapReduce-Jobüberwachung
Eine MapReduce-Anwendung ist eine Sammlung von Jobs (Map-Job, Combiner, Partitioner und Reduce-Job). Es ist obligatorisch, Folgendes zu überwachen und zu warten:
- Konfiguration des Datenknotens, für den die Anwendung geeignet ist.
- Die Anzahl der pro Anwendung verwendeten Datenknoten und Ressourcen.
Um all diese Dinge zu überwachen, ist es unerlässlich, dass wir eine Benutzeroberfläche haben. Übergeben Sie nach dem Starten des Hadoop-Frameworks durch Übergeben des Befehls "start-all.sh" unter "/ $ HADOOP_HOME / sbin" die folgende URL an den Browser "http: // localhost: 8080". In Ihrem Browser sollte der folgende Bildschirm angezeigt werden.
Im obigen Screenshot befindet sich der Handzeiger auf der Anwendungs-ID. Klicken Sie einfach darauf, um den folgenden Bildschirm in Ihrem Browser zu finden. Es beschreibt Folgendes:
Auf welchem Benutzer wird die aktuelle Anwendung ausgeführt?
Der Anwendungsname
Art dieser Anwendung
Aktueller Status, Endstatus
Startzeit der Anwendung, verstrichen (abgeschlossene Zeit), wenn sie zum Zeitpunkt der Überwachung abgeschlossen ist
Der Verlauf dieser Anwendung, dh Protokollinformationen
Und schließlich die Knoteninformationen, dh die Knoten, die an der Ausführung der Anwendung beteiligt waren.
Der folgende Screenshot zeigt die Details einer bestimmten Anwendung -
Der folgende Screenshot beschreibt die aktuell ausgeführten Knoteninformationen. Hier enthält der Screenshot nur einen Knoten. Ein Handzeiger zeigt die localhost-Adresse des laufenden Knotens an.
