Hadoop - Référence des commandes

Il y a beaucoup plus de commandes dans "$HADOOP_HOME/bin/hadoop fs"que celles présentées ici, bien que ces opérations de base vous permettront de démarrer. L'exécution de ./bin/hadoop dfs sans argument supplémentaire listera toutes les commandes qui peuvent être exécutées avec le système FsShell. En outre,$HADOOP_HOME/bin/hadoop fs -help commandName affichera un bref résumé de l'utilisation de l'opération en question, si vous êtes bloqué.

Un tableau de toutes les opérations est présenté ci-dessous. Les conventions suivantes sont utilisées pour les paramètres -

"<path>" means any file or directory name. 
"<path>..." means one or more file or directory names. 
"<file>" means any filename. 
"<src>" and "<dest>" are path names in a directed operation. 
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.

Tous les autres fichiers et noms de chemin font référence aux objets à l'intérieur de HDFS.

Sr.Non	Commande et description
1	-ls <path> Répertorie le contenu du répertoire spécifié par chemin, en indiquant les noms, les autorisations, le propriétaire, la taille et la date de modification de chaque entrée.
2	-lsr <path> Se comporte comme -ls, mais affiche récursivement les entrées dans tous les sous-répertoires de path.
3	-du <path> Affiche l'utilisation du disque, en octets, pour tous les fichiers qui correspondent au chemin; les noms de fichiers sont signalés avec le préfixe de protocole HDFS complet.
4	-dus <path> Comme -du, mais affiche un résumé de l'utilisation du disque de tous les fichiers / répertoires dans le chemin.
5	-mv <src><dest> Déplace le fichier ou le répertoire indiqué par src vers dest, dans HDFS.
6	-cp <src> <dest> Copie le fichier ou le répertoire identifié par src vers dest, dans HDFS.
sept	-rm <path> Supprime le fichier ou le répertoire vide identifié par chemin.
8	-rmr <path> Supprime le fichier ou le répertoire identifié par chemin. Supprime récursivement toutes les entrées enfants (c'est-à-dire les fichiers ou sous-répertoires de chemin).
9	-put <localSrc> <dest> Copie le fichier ou le répertoire du système de fichiers local identifié par localSrc vers dest dans le DFS.
dix	-copyFromLocal <localSrc> <dest> Identique à -put
11	-moveFromLocal <localSrc> <dest> Copie le fichier ou le répertoire du système de fichiers local identifié par localSrc vers dest dans HDFS, puis supprime la copie locale en cas de succès.
12	-get [-crc] <src> <localDest> Copie le fichier ou le répertoire dans HDFS identifié par src dans le chemin du système de fichiers local identifié par localDest.
13	-getmerge <src> <localDest> Récupère tous les fichiers qui correspondent au chemin src dans HDFS et les copie dans un seul fichier fusionné dans le système de fichiers local identifié par localDest.
14	-cat <filen-ame> Affiche le contenu du nom de fichier sur stdout.
15	-copyToLocal <src> <localDest> Identique à -get
16	-moveToLocal <src> <localDest> Fonctionne comme -get, mais supprime la copie HDFS en cas de succès.
17	-mkdir <path> Crée un répertoire nommé chemin dans HDFS. Crée tous les répertoires parents dans le chemin qui manquent (par exemple, mkdir -p sous Linux).
18	-setrep [-R] [-w] rep <path> Définit le facteur de réplication cible pour les fichiers identifiés par le chemin de rep. (Le facteur de réplication réel se déplacera vers la cible au fil du temps)
19	-touchz <path> Crée un fichier au chemin contenant l'heure actuelle comme horodatage. Échoue si un fichier existe déjà au chemin, sauf si le fichier est déjà de taille 0.
20	-test -[ezd] <path> Renvoie 1 si le chemin existe; a une longueur nulle; ou est un répertoire ou 0 sinon.
21	-stat [format] <path> Imprime des informations sur le chemin. Le format est une chaîne qui accepte la taille de fichier en blocs (% b), le nom de fichier (% n), la taille de bloc (% o), la réplication (% r) et la date de modification (% y,% Y).
22	-tail [-f] <file2name> Affiche le dernier 1 Ko du fichier sur stdout.
23	-chmod [-R] mode,mode,... <path>... Modifie les autorisations de fichier associées à un ou plusieurs objets identifiés par chemin .... Effectue des modifications de manière récursive avec R. Le mode est un mode octal à 3 chiffres, ou {augo} +/- {rwxX}. Suppose que si aucune portée n'est spécifiée et n'applique pas d'umask.
24	-chown [-R] [owner][:[group]] <path>... Définit l'utilisateur et / ou le groupe propriétaire des fichiers ou répertoires identifiés par chemin .... Définit le propriétaire de manière récursive si -R est spécifié.
25	-chgrp [-R] group <path>... Définit le groupe propriétaire pour les fichiers ou répertoires identifiés par chemin .... Définit le groupe de manière récursive si -R est spécifié.
26	-help <cmd-name> Renvoie les informations d'utilisation de l'une des commandes répertoriées ci-dessus. Vous devez omettre le premier caractère «-» dans cmd.