Hadoop - Справочник команд
В "$HADOOP_HOME/bin/hadoop fs"чем показано здесь, хотя эти основные операции помогут вам начать работу. При запуске ./bin/hadoop dfs без дополнительных аргументов будут перечислены все команды, которые можно запустить с помощью системы FsShell. Более того,$HADOOP_HOME/bin/hadoop fs -help commandName отобразит краткую сводку использования для рассматриваемой операции, если вы застряли.
Таблица всех операций представлена ниже. Для параметров используются следующие соглашения:
"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.Все остальные файлы и имена путей относятся к объектам внутри HDFS.
| Старший Нет | Команда и описание |
|---|---|
| 1 | -ls <path> Перечисляет содержимое каталога, указанного путем, с указанием имен, разрешений, владельца, размера и даты изменения для каждой записи. |
| 2 | -lsr <path> Действует как -ls, но рекурсивно отображает записи во всех подкаталогах пути. |
| 3 | -du <path> Показывает использование диска в байтах для всех файлов, соответствующих пути; имена файлов сообщаются с полным префиксом протокола HDFS. |
| 4 | -dus <path> Подобно -du, но выводит сводку использования диска всеми файлами / каталогами в пути. |
| 5 | -mv <src><dest> Перемещает файл или каталог, указанный src, в dest в HDFS. |
| 6 | -cp <src> <dest> Копирует файл или каталог, указанный src, в dest в HDFS. |
| 7 | -rm <path> Удаляет файл или пустой каталог, указанный путем. |
| 8 | -rmr <path> Удаляет файл или каталог, указанный путем. Рекурсивно удаляет все дочерние записи (т. Е. Файлы или подкаталоги пути). |
| 9 | -put <localSrc> <dest> Копирует файл или каталог из локальной файловой системы, идентифицированной localSrc, в dest в DFS. |
| 10 | -copyFromLocal <localSrc> <dest> Идентичен входу |
| 11 | -moveFromLocal <localSrc> <dest> Копирует файл или каталог из локальной файловой системы, идентифицированной localSrc, в dest в HDFS, а затем удаляет локальную копию в случае успеха. |
| 12 | -get [-crc] <src> <localDest> Копирует файл или каталог в HDFS, идентифицированный src, в путь локальной файловой системы, идентифицированный localDest. |
| 13 | -getmerge <src> <localDest> Извлекает все файлы, которые соответствуют пути src в HDFS, и копирует их в один объединенный файл в локальной файловой системе, идентифицированной localDest. |
| 14 | -cat <filen-ame> Отображает содержимое имени файла в stdout. |
| 15 | -copyToLocal <src> <localDest> Идентично-получить |
| 16 | -moveToLocal <src> <localDest> Работает как -get, но удаляет копию HDFS в случае успеха. |
| 17 | -mkdir <path> Создает каталог с именем path в HDFS. Создает все родительские каталоги в пути, которые отсутствуют (например, mkdir -p в Linux). |
| 18 | -setrep [-R] [-w] rep <path> Устанавливает целевой коэффициент репликации для файлов, идентифицированных путем к репутации. (Фактический коэффициент репликации будет приближаться к цели со временем) |
| 19 | -touchz <path> Создает файл по пути, содержащий текущее время в качестве отметки времени. Сбой, если файл уже существует по пути, кроме случая, когда размер файла уже равен 0. |
| 20 | -test -[ezd] <path> Возвращает 1, если путь существует; имеет нулевую длину; или это каталог, или 0 иначе. |
| 21 год | -stat [format] <path> Печатает информацию о пути. Формат - это строка, которая принимает размер файла в блоках (% b), имя файла (% n), размер блока (% o), репликацию (% r) и дату модификации (% y,% Y). |
| 22 | -tail [-f] <file2name> Показывает последний 1 КБ файла на stdout. |
| 23 | -chmod [-R] mode,mode,... <path>... Изменяет права доступа к файлу, связанные с одним или несколькими объектами, указанными по пути .... Выполняет изменения рекурсивно с помощью R. mode - это трехзначный восьмеричный режим или {augo} +/- {rwxX}. Предполагается, что область действия не указана, и маска umask не применяется. |
| 24 | -chown [-R] [owner][:[group]] <path>... Устанавливает пользователя и / или группу-владельца для файлов или каталогов, идентифицированных по пути .... Устанавливает владельца рекурсивно, если указан -R. |
| 25 | -chgrp [-R] group <path>... Устанавливает группу-владельца для файлов или каталогов, определяемых путем .... Устанавливает группу рекурсивно, если указан -R. |
| 26 | -help <cmd-name> Возвращает информацию об использовании одной из перечисленных выше команд. Вы должны опустить ведущий символ '-' в cmd. |