MapReduce - Administração do Hadoop
Este capítulo explica a administração do Hadoop, que inclui a administração de HDFS e MapReduce.
A administração do HDFS inclui o monitoramento da estrutura de arquivos HDFS, locais e arquivos atualizados.
A administração do MapReduce inclui o monitoramento da lista de aplicativos, configuração de nós, status do aplicativo, etc.
Monitoramento HDFS
HDFS (Hadoop Distributed File System) contém os diretórios do usuário, arquivos de entrada e arquivos de saída. Use os comandos MapReduce,put e get, para armazenar e recuperar.
Depois de iniciar a estrutura do Hadoop (daemons) passando o comando “start-all.sh” em “/ $ HADOOP_HOME / sbin”, passe a seguinte URL para o navegador “http: // localhost: 50070”. Você deverá ver a seguinte tela em seu navegador.
A captura de tela a seguir mostra como navegar no HDFS de navegação.
A captura de tela a seguir mostra a estrutura de arquivos do HDFS. Mostra os arquivos no diretório “/ user / hadoop”.
A captura de tela a seguir mostra as informações do Datanode em um cluster. Aqui você pode encontrar um nó com suas configurações e capacidades.
MapReduce Job Monitoring
Um aplicativo MapReduce é uma coleção de trabalhos (trabalho de mapa, combinador, particionador e trabalho de redução). É obrigatório monitorar e manter o seguinte -
- Configuração do datanode onde a aplicação é adequada.
- O número de datanodes e recursos usados por aplicativo.
Para monitorar todas essas coisas, é imperativo que tenhamos uma interface de usuário. Depois de iniciar a estrutura do Hadoop passando o comando “start-all.sh” em “/ $ HADOOP_HOME / sbin”, passe a seguinte URL para o navegador “http: // localhost: 8080”. Você deverá ver a seguinte tela em seu navegador.
Na captura de tela acima, o ponteiro da mão está no ID do aplicativo. Basta clicar nele para encontrar a seguinte tela em seu navegador. Ele descreve o seguinte -
Em qual usuário o aplicativo atual está sendo executado
O nome do aplicativo
Tipo desse aplicativo
Status atual, status final
Tempo de início do aplicativo, decorrido (tempo concluído), se estiver concluído no momento do monitoramento
O histórico deste aplicativo, ou seja, informações de registro
E, por fim, as informações do nó, ou seja, os nós que participaram da execução da aplicação.
A captura de tela a seguir mostra os detalhes de um determinado aplicativo -
A captura de tela a seguir descreve as informações dos nós em execução no momento. Aqui, a captura de tela contém apenas um nó. Um ponteiro mostra o endereço localhost do nó em execução.