MapReduce - administracja Hadoop

W tym rozdziale opisano administrację Hadoop, która obejmuje administrację HDFS i MapReduce.

  • Administracja HDFS obejmuje monitorowanie struktury plików HDFS, lokalizacji i zaktualizowanych plików.

  • Administracja MapReduce obejmuje monitorowanie listy aplikacji, konfigurację węzłów, stan aplikacji itp.

Monitorowanie HDFS

HDFS (Hadoop Distributed File System) zawiera katalogi użytkowników, pliki wejściowe i pliki wyjściowe. Użyj poleceń MapReduce,put i get, do przechowywania i odzyskiwania.

Po uruchomieniu platformy Hadoop (demonów) przez przekazanie polecenia „start-all.sh” na „/ $ HADOOP_HOME / sbin”, przekaż następujący adres URL do przeglądarki „http: // localhost: 50070”. W przeglądarce powinien pojawić się następujący ekran.

Poniższy zrzut ekranu pokazuje, jak przeglądać pliki HDFS.

Poniższy zrzut ekranu przedstawia strukturę plików HDFS. Pokazuje pliki w katalogu „/ user / hadoop”.

Poniższy zrzut ekranu przedstawia informacje o Datanode w klastrze. Tutaj można znaleźć jeden węzeł z jego konfiguracjami i możliwościami.

Monitorowanie zadań MapReduce

Aplikacja MapReduce to zbiór zadań (zadanie mapowania, zadanie łączące, partycjonowanie i zadanie redukcji). Obowiązkowe jest monitorowanie i utrzymywanie następujących:

  • Konfiguracja datanode tam, gdzie aplikacja jest odpowiednia.
  • Liczba węzłów danych i zasobów używanych na aplikację.

Aby monitorować te wszystkie rzeczy, musimy mieć interfejs użytkownika. Po uruchomieniu platformy Hadoop przez przekazanie polecenia „start-all.sh” na „/ $ HADOOP_HOME / sbin”, przekaż następujący adres URL do przeglądarki „http: // localhost: 8080”. W przeglądarce powinien pojawić się następujący ekran.

Na powyższym zrzucie ekranu wskaźnik dłoni znajduje się na identyfikatorze aplikacji. Po prostu kliknij, aby znaleźć następujący ekran w przeglądarce. Opisuje następujące -

  • Na jakim użytkowniku działa bieżąca aplikacja

  • Nazwa aplikacji

  • Rodzaj tej aplikacji

  • Stan obecny, stan ostateczny

  • Czas uruchomienia aplikacji, czas, który upłynął (czas zakończenia), jeśli jest kompletny w momencie monitorowania

  • Historia tej aplikacji, czyli informacje dziennika

  • I wreszcie informacje o węzłach, czyli węzłach, które uczestniczyły w uruchomieniu aplikacji.

Poniższy zrzut ekranu przedstawia szczegóły konkretnej aplikacji -

Poniższy zrzut ekranu przedstawia informacje o aktualnie uruchomionych węzłach. Tutaj zrzut ekranu zawiera tylko jeden węzeł. Wskaźnik dłoni pokazuje adres hosta lokalnego działającego węzła.