Hadoop - odniesienie do poleceń
W programie jest o wiele więcej poleceń "$HADOOP_HOME/bin/hadoop fs"niż przedstawiono tutaj, chociaż te podstawowe operacje pozwolą Ci rozpocząć. Uruchomienie ./bin/hadoop dfs bez dodatkowych argumentów spowoduje wyświetlenie wszystkich poleceń, które można uruchomić w systemie FsShell. Ponadto,$HADOOP_HOME/bin/hadoop fs -help commandName wyświetli krótkie podsumowanie użycia dla danej operacji, jeśli utkniesz.
Tabela wszystkich operacji jest pokazana poniżej. Następujące konwencje są używane dla parametrów -
"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.Wszystkie inne pliki i nazwy ścieżek odnoszą się do obiektów w HDFS.
| Sr.No | Polecenie i opis |
|---|---|
| 1 | -ls <path> Wyświetla zawartość katalogu określonego ścieżką, pokazując nazwy, uprawnienia, właściciela, rozmiar i datę modyfikacji dla każdego wpisu. |
| 2 | -lsr <path> Zachowuje się jak -ls, ale rekurencyjnie wyświetla wpisy we wszystkich podkatalogach ścieżki. |
| 3 | -du <path> Pokazuje użycie dysku w bajtach dla wszystkich plików zgodnych ze ścieżką; nazwy plików są zgłaszane z pełnym prefiksem protokołu HDFS. |
| 4 | -dus <path> Podobne do -du, ale wyświetla podsumowanie wykorzystania dysku przez wszystkie pliki / katalogi w ścieżce. |
| 5 | -mv <src><dest> Przenosi plik lub katalog wskazany przez src do dest w HDFS. |
| 6 | -cp <src> <dest> Kopiuje plik lub katalog określony przez src do dest w HDFS. |
| 7 | -rm <path> Usuwa plik lub pusty katalog określony przez ścieżkę. |
| 8 | -rmr <path> Usuwa plik lub katalog określony przez ścieżkę. Rekurencyjnie usuwa wszelkie wpisy podrzędne (tj. Pliki lub podkatalogi ścieżki). |
| 9 | -put <localSrc> <dest> Kopiuje plik lub katalog z lokalnego systemu plików zidentyfikowanego przez localSrc do dest w DFS. |
| 10 | -copyFromLocal <localSrc> <dest> Identyczny z -put |
| 11 | -moveFromLocal <localSrc> <dest> Kopiuje plik lub katalog z lokalnego systemu plików zidentyfikowanego przez localSrc do dest w HDFS, a następnie usuwa lokalną kopię w przypadku pomyślnego zakończenia. |
| 12 | -get [-crc] <src> <localDest> Kopiuje plik lub katalog w HDFS identyfikowany przez src do ścieżki lokalnego systemu plików zidentyfikowanej przez localDest. |
| 13 | -getmerge <src> <localDest> Pobiera wszystkie pliki, które pasują do ścieżki src w HDFS i kopiuje je do pojedynczego, scalonego pliku w lokalnym systemie plików określonym przez localDest. |
| 14 | -cat <filen-ame> Wyświetla zawartość nazwy pliku na standardowe wyjście. |
| 15 | -copyToLocal <src> <localDest> Identyczny sposób pobierania |
| 16 | -moveToLocal <src> <localDest> Działa jak -get, ale usuwa kopię HDFS po pomyślnym zakończeniu. |
| 17 | -mkdir <path> Tworzy katalog o nazwie path w HDFS. Tworzy wszystkie brakujące katalogi nadrzędne w ścieżce (np. Mkdir -p w systemie Linux). |
| 18 | -setrep [-R] [-w] rep <path> Ustawia docelowy współczynnik replikacji dla plików identyfikowanych przez ścieżkę do rep. (Rzeczywisty współczynnik replikacji będzie z czasem zbliżał się do celu) |
| 19 | -touchz <path> Tworzy plik w path, zawierający aktualny czas jako znacznik czasu. Niepowodzenie, jeśli plik już istnieje w path, chyba że plik ma już rozmiar 0. |
| 20 | -test -[ezd] <path> Zwraca 1, jeśli ścieżka istnieje; ma zerową długość; lub jest katalogiem lub 0 w innym przypadku. |
| 21 | -stat [format] <path> Wyświetla informacje o ścieżce. Format to ciąg, który akceptuje rozmiar pliku w blokach (% b), nazwę pliku (% n), rozmiar bloku (% o), replikację (% r) i datę modyfikacji (% y,% Y). |
| 22 | -tail [-f] <file2name> Pokazuje ostatni 1 KB pliku na standardowym wyjściu. |
| 23 | -chmod [-R] mode,mode,... <path>... Zmienia uprawnienia pliku związane z jednym lub większą liczbą obiektów zidentyfikowanych przez ścieżkę .... Dokonuje zmian rekurencyjnie z trybem R. jest trzycyfrowym trybem ósemkowym lub {augo} +/- {rwxX}. Zakłada, że nie określono zakresu i nie stosuje się umask. |
| 24 | -chown [-R] [owner][:[group]] <path>... Ustawia użytkownika i / lub grupę będącą właścicielem plików lub katalogów identyfikowanych przez ścieżkę .... Ustawia właściciela rekurencyjnie, jeśli podano -R. |
| 25 | -chgrp [-R] group <path>... Ustawia grupę będącą właścicielem plików lub katalogów identyfikowanych przez ścieżkę .... Ustawia grupę rekurencyjnie, jeśli podano -R. |
| 26 | -help <cmd-name> Zwraca informacje o użyciu jednego z poleceń wymienionych powyżej. W cmd należy pominąć początkowy znak „-”. |