Hadoop - Operações HDFS

Iniciando HDFS

Inicialmente, você deve formatar o sistema de arquivos HDFS configurado, abrir o namenode (servidor HDFS) e executar o seguinte comando.

$ hadoop namenode -format

Depois de formatar o HDFS, inicie o sistema de arquivos distribuído. O comando a seguir iniciará o namenode, bem como os nós de dados como cluster.

$ start-dfs.sh

Listando arquivos em HDFS

Depois de carregar as informações no servidor, podemos encontrar a lista de arquivos em um diretório, status de um arquivo, usando ‘ls’. A seguir está a sintaxe dels que você pode passar para um diretório ou nome de arquivo como um argumento.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Inserindo Dados no HDFS

Suponha que temos dados no arquivo chamado file.txt no sistema local que devem ser salvos no sistema de arquivos hdfs. Siga as etapas fornecidas a seguir para inserir o arquivo necessário no sistema de arquivos Hadoop.

Passo 1

Você deve criar um diretório de entrada.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Passo 2

Transfira e armazene um arquivo de dados de sistemas locais para o sistema de arquivos Hadoop usando o comando put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

etapa 3

Você pode verificar o arquivo usando o comando ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Recuperando dados do HDFS

Suponha que temos um arquivo no HDFS chamado outfile. A seguir, é fornecida uma demonstração simples para recuperar o arquivo necessário do sistema de arquivos Hadoop.

Passo 1

Inicialmente, visualize os dados do HDFS usando cat comando.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Passo 2

Obtenha o arquivo do HDFS para o sistema de arquivos local usando get comando.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Desligando o HDFS

Você pode desligar o HDFS usando o seguinte comando.

$ stop-dfs.sh