Hadoop - Befehlsreferenz
Es gibt viel mehr Befehle in "$HADOOP_HOME/bin/hadoop fs"als hier gezeigt, obwohl diese grundlegenden Operationen Ihnen den Einstieg erleichtern. Wenn Sie ./bin/hadoop dfs ohne zusätzliche Argumente ausführen, werden alle Befehle aufgelistet, die mit dem FsShell-System ausgeführt werden können. Außerdem,$HADOOP_HOME/bin/hadoop fs -help commandName zeigt eine kurze Verwendungsübersicht für den betreffenden Vorgang an, wenn Sie nicht weiterkommen.
Eine Tabelle aller Operationen ist unten gezeigt. Die folgenden Konventionen werden für Parameter verwendet -
"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.Alle anderen Dateien und Pfadnamen beziehen sich auf die Objekte in HDFS.
| Sr.Nr. | Befehl & Beschreibung |
|---|---|
| 1 | -ls <path> Listet den Inhalt des durch den Pfad angegebenen Verzeichnisses auf und zeigt die Namen, Berechtigungen, Eigentümer, Größe und Änderungsdatum für jeden Eintrag an. |
| 2 | -lsr <path> Verhält sich wie -ls, zeigt jedoch rekursiv Einträge in allen Unterverzeichnissen des Pfads an. |
| 3 | -du <path> Zeigt die Festplattennutzung in Byte für alle Dateien an, die dem Pfad entsprechen. Dateinamen werden mit dem vollständigen HDFS-Protokollpräfix gemeldet. |
| 4 | -dus <path> Wie -du, gibt jedoch eine Zusammenfassung der Festplattennutzung aller Dateien / Verzeichnisse im Pfad aus. |
| 5 | -mv <src><dest> Verschiebt die von src angegebene Datei oder das Verzeichnis innerhalb von HDFS nach dest. |
| 6 | -cp <src> <dest> Kopiert die von src angegebene Datei oder das Verzeichnis in dest nach dest in HDFS. |
| 7 | -rm <path> Entfernt die durch den Pfad angegebene Datei oder das leere Verzeichnis. |
| 8 | -rmr <path> Entfernt die durch den Pfad angegebene Datei oder das Verzeichnis. Löscht rekursiv alle untergeordneten Einträge (dh Dateien oder Unterverzeichnisse des Pfads). |
| 9 | -put <localSrc> <dest> Kopiert die Datei oder das Verzeichnis aus dem von localSrc identifizierten lokalen Dateisystem in das Ziel innerhalb der DFS. |
| 10 | -copyFromLocal <localSrc> <dest> Identisch mit -put |
| 11 | -moveFromLocal <localSrc> <dest> Kopiert die Datei oder das Verzeichnis aus dem von localSrc identifizierten lokalen Dateisystem in dest in HDFS und löscht die lokale Kopie bei Erfolg. |
| 12 | -get [-crc] <src> <localDest> Kopiert die von src identifizierte Datei oder das Verzeichnis in HDFS in den von localDest angegebenen lokalen Dateisystempfad. |
| 13 | -getmerge <src> <localDest> Ruft alle Dateien ab, die dem Pfad src in HDFS entsprechen, und kopiert sie in eine einzelne zusammengeführte Datei im lokalen Dateisystem, das von localDest identifiziert wird. |
| 14 | -cat <filen-ame> Zeigt den Inhalt des Dateinamens auf stdout an. |
| 15 | -copyToLocal <src> <localDest> Identisch zu -get |
| 16 | -moveToLocal <src> <localDest> Funktioniert wie -get, löscht jedoch die HDFS-Kopie bei Erfolg. |
| 17 | -mkdir <path> Erstellt ein Verzeichnis mit dem Namen path in HDFS. Erstellt alle übergeordneten Verzeichnisse im Pfad, die fehlen (z. B. mkdir -p unter Linux). |
| 18 | -setrep [-R] [-w] rep <path> Legt den Zielreplikationsfaktor für Dateien fest, die durch den Pfad zu rep identifiziert werden. (Der tatsächliche Replikationsfaktor bewegt sich mit der Zeit auf das Ziel zu.) |
| 19 | -touchz <path> Erstellt eine Datei im Pfad, die die aktuelle Zeit als Zeitstempel enthält. Schlägt fehl, wenn eine Datei bereits im Pfad vorhanden ist, es sei denn, die Datei hat bereits die Größe 0. |
| 20 | -test -[ezd] <path> Gibt 1 zurück, wenn der Pfad vorhanden ist. hat eine Länge von Null; oder ist ein Verzeichnis oder 0 sonst. |
| 21 | -stat [format] <path> Druckt Informationen zum Pfad. Format ist eine Zeichenfolge, die die Dateigröße in Blöcken (% b), Dateinamen (% n), Blockgröße (% o), Replikation (% r) und Änderungsdatum (% y,% Y) akzeptiert. |
| 22 | -tail [-f] <file2name> Zeigt die letzten 1 KB der Datei auf stdout an. |
| 23 | -chmod [-R] mode,mode,... <path>... Ändert die Dateiberechtigungen, die einem oder mehreren durch den Pfad identifizierten Objekten zugeordnet sind. Führt Änderungen rekursiv mit R. durch. Der Modus ist ein dreistelliger Oktalmodus oder {augo} +/- {rwxX}. Nimmt an, wenn kein Bereich angegeben ist und keine Umask angewendet wird. |
| 24 | -chown [-R] [owner][:[group]] <path>... Legt den besitzenden Benutzer und / oder die Gruppe für Dateien oder Verzeichnisse fest, die durch den Pfad gekennzeichnet sind. Legt den Besitzer rekursiv fest, wenn -R angegeben ist. |
| 25 | -chgrp [-R] group <path>... Legt die Eigentümergruppe für Dateien oder Verzeichnisse fest, die durch den Pfad gekennzeichnet sind. Legt die Gruppe rekursiv fest, wenn -R angegeben ist. |
| 26 | -help <cmd-name> Gibt Nutzungsinformationen für einen der oben aufgeführten Befehle zurück. Sie müssen das führende '-' Zeichen in cmd weglassen. |