MapReduce - administracja Hadoop
W tym rozdziale opisano administrację Hadoop, która obejmuje administrację HDFS i MapReduce.
Administracja HDFS obejmuje monitorowanie struktury plików HDFS, lokalizacji i zaktualizowanych plików.
Administracja MapReduce obejmuje monitorowanie listy aplikacji, konfigurację węzłów, stan aplikacji itp.
Monitorowanie HDFS
HDFS (Hadoop Distributed File System) zawiera katalogi użytkowników, pliki wejściowe i pliki wyjściowe. Użyj poleceń MapReduce,put i get, do przechowywania i odzyskiwania.
Po uruchomieniu platformy Hadoop (demonów) przez przekazanie polecenia „start-all.sh” na „/ $ HADOOP_HOME / sbin”, przekaż następujący adres URL do przeglądarki „http: // localhost: 50070”. W przeglądarce powinien pojawić się następujący ekran.
Poniższy zrzut ekranu pokazuje, jak przeglądać pliki HDFS.
Poniższy zrzut ekranu przedstawia strukturę plików HDFS. Pokazuje pliki w katalogu „/ user / hadoop”.
Poniższy zrzut ekranu przedstawia informacje o Datanode w klastrze. Tutaj można znaleźć jeden węzeł z jego konfiguracjami i możliwościami.
Monitorowanie zadań MapReduce
Aplikacja MapReduce to zbiór zadań (zadanie mapowania, zadanie łączące, partycjonowanie i zadanie redukcji). Obowiązkowe jest monitorowanie i utrzymywanie następujących:
- Konfiguracja datanode tam, gdzie aplikacja jest odpowiednia.
- Liczba węzłów danych i zasobów używanych na aplikację.
Aby monitorować te wszystkie rzeczy, musimy mieć interfejs użytkownika. Po uruchomieniu platformy Hadoop przez przekazanie polecenia „start-all.sh” na „/ $ HADOOP_HOME / sbin”, przekaż następujący adres URL do przeglądarki „http: // localhost: 8080”. W przeglądarce powinien pojawić się następujący ekran.
Na powyższym zrzucie ekranu wskaźnik dłoni znajduje się na identyfikatorze aplikacji. Po prostu kliknij, aby znaleźć następujący ekran w przeglądarce. Opisuje następujące -
Na jakim użytkowniku działa bieżąca aplikacja
Nazwa aplikacji
Rodzaj tej aplikacji
Stan obecny, stan ostateczny
Czas uruchomienia aplikacji, czas, który upłynął (czas zakończenia), jeśli jest kompletny w momencie monitorowania
Historia tej aplikacji, czyli informacje dziennika
I wreszcie informacje o węzłach, czyli węzłach, które uczestniczyły w uruchomieniu aplikacji.
Poniższy zrzut ekranu przedstawia szczegóły konkretnej aplikacji -
Poniższy zrzut ekranu przedstawia informacje o aktualnie uruchomionych węzłach. Tutaj zrzut ekranu zawiera tylko jeden węzeł. Wskaźnik dłoni pokazuje adres hosta lokalnego działającego węzła.
