Hadoop - операции HDFS

Запуск HDFS

Первоначально вам нужно отформатировать настроенную файловую систему HDFS, открыть namenode (сервер HDFS) и выполнить следующую команду.

$ hadoop namenode -format

После форматирования HDFS запустите распределенную файловую систему. Следующая команда запустит namenode, а также узлы данных как кластер.

$ start-dfs.sh

Список файлов в HDFS

После загрузки информации на сервер мы можем найти список файлов в каталоге, статус файла, используя ‘ls’. Ниже приведен синтаксисls что вы можете передать в каталог или имя файла в качестве аргумента.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Вставка данных в HDFS

Предположим, у нас есть данные в файле с именем file.txt в локальной системе, который необходимо сохранить в файловой системе hdfs. Следуйте инструкциям ниже, чтобы вставить требуемый файл в файловую систему Hadoop.

Шаг 1

Вы должны создать входной каталог.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Шаг 2

Передайте и сохраните файл данных из локальных систем в файловую систему Hadoop с помощью команды put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Шаг 3

Вы можете проверить файл с помощью команды ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Получение данных из HDFS

Предположим, у нас есть файл в HDFS с именем outfile. Ниже приводится простая демонстрация получения необходимого файла из файловой системы Hadoop.

Шаг 1

Изначально просмотрите данные из HDFS, используя cat команда.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Шаг 2

Получите файл из HDFS в локальную файловую систему, используя get команда.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Завершение работы HDFS

Вы можете выключить HDFS с помощью следующей команды.

$ stop-dfs.sh