Hadoop - Tham chiếu lệnh
Có nhiều lệnh khác trong "$HADOOP_HOME/bin/hadoop fs"hơn được trình bày ở đây, mặc dù các thao tác cơ bản này sẽ giúp bạn bắt đầu. Chạy ./bin/hadoop dfs không có đối số bổ sung sẽ liệt kê tất cả các lệnh có thể chạy với hệ thống FsShell. Hơn nữa,$HADOOP_HOME/bin/hadoop fs -help commandName sẽ hiển thị một bản tóm tắt sử dụng ngắn cho thao tác được đề cập, nếu bạn gặp khó khăn.
Bảng tất cả các thao tác được hiển thị bên dưới. Các quy ước sau được sử dụng cho các tham số:
"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.Tất cả các tệp và tên đường dẫn khác tham chiếu đến các đối tượng bên trong HDFS.
| Sr.No | Lệnh & Mô tả |
|---|---|
| 1 | -ls <path> Liệt kê nội dung của thư mục được chỉ định theo đường dẫn, hiển thị tên, quyền, chủ sở hữu, kích thước và ngày sửa đổi cho mỗi mục nhập. |
| 2 | -lsr <path> Hoạt động như -ls, nhưng hiển thị đệ quy các mục nhập trong tất cả các thư mục con của đường dẫn. |
| 3 | -du <path> Hiển thị mức sử dụng đĩa, tính bằng byte, cho tất cả các tệp khớp với đường dẫn; tên tệp được báo cáo với tiền tố giao thức HDFS đầy đủ. |
| 4 | -dus <path> Giống như -du, nhưng in một bản tóm tắt về việc sử dụng đĩa của tất cả các tệp / thư mục trong đường dẫn. |
| 5 | -mv <src><dest> Di chuyển tệp hoặc thư mục được chỉ định bởi src đến đích, trong HDFS. |
| 6 | -cp <src> <dest> Sao chép tệp hoặc thư mục được nhận dạng bởi src sang đích, trong HDFS. |
| 7 | -rm <path> Xóa tệp hoặc thư mục trống được xác định bằng đường dẫn. |
| số 8 | -rmr <path> Xóa tệp hoặc thư mục được xác định bằng đường dẫn. Xóa đệ quy bất kỳ mục nhập con nào (tức là tệp hoặc thư mục con của đường dẫn). |
| 9 | -put <localSrc> <dest> Sao chép tệp hoặc thư mục từ hệ thống tệp cục bộ được localSrc xác định đến đích trong DFS. |
| 10 | -copyFromLocal <localSrc> <dest> Đầu vào giống hệt nhau |
| 11 | -moveFromLocal <localSrc> <dest> Sao chép tệp hoặc thư mục từ hệ thống tệp cục bộ được localSrc xác định đến đích trong HDFS, sau đó xóa bản sao cục bộ thành công. |
| 12 | -get [-crc] <src> <localDest> Sao chép tệp hoặc thư mục trong HDFS được nhận dạng bởi src vào đường dẫn hệ thống tệp cục bộ được xác định bởi localDest. |
| 13 | -getmerge <src> <localDest> Truy xuất tất cả các tệp khớp với đường dẫn src trong HDFS và sao chép chúng vào một tệp duy nhất, được hợp nhất trong hệ thống tệp cục bộ được xác định bởi localDest. |
| 14 | -cat <filen-ame> Hiển thị nội dung của tên tệp trên stdout. |
| 15 | -copyToLocal <src> <localDest> Giống nhau đến mục tiêu |
| 16 | -moveToLocal <src> <localDest> Hoạt động giống như -get, nhưng xóa bản sao HDFS thành công. |
| 17 | -mkdir <path> Tạo một đường dẫn có tên thư mục trong HDFS. Tạo bất kỳ thư mục mẹ nào trong đường dẫn bị thiếu (ví dụ: mkdir -p trong Linux). |
| 18 | -setrep [-R] [-w] rep <path> Đặt yếu tố sao chép mục tiêu cho các tệp được xác định bằng đường dẫn đến bản sao. (Yếu tố sao chép thực tế sẽ di chuyển đến mục tiêu theo thời gian) |
| 19 | -touchz <path> Tạo một tệp tại đường dẫn chứa thời gian hiện tại làm dấu thời gian. Không thành công nếu tệp đã tồn tại tại đường dẫn, trừ khi tệp đã có kích thước 0. |
| 20 | -test -[ezd] <path> Trả về 1 nếu đường dẫn tồn tại; có độ dài bằng không; hoặc là một thư mục hoặc 0 nếu không. |
| 21 | -stat [format] <path> In thông tin về đường dẫn. Định dạng là một chuỗi chấp nhận kích thước tệp theo khối (% b), tên tệp (% n), kích thước khối (% o), bản sao (% r) và ngày sửa đổi (% y,% Y). |
| 22 | -tail [-f] <file2name> Hiển thị 1KB cuối cùng của tệp trên stdout. |
| 23 | -chmod [-R] mode,mode,... <path>... Thay đổi quyền đối với tệp được liên kết với một hoặc nhiều đối tượng được xác định bằng đường dẫn .... Thực hiện các thay đổi một cách đệ quy với chế độ R. là chế độ bát phân gồm 3 chữ số hoặc {augo} +/- {rwxX}. Giả sử nếu không có phạm vi nào được chỉ định và không áp dụng umask. |
| 24 | -chown [-R] [owner][:[group]] <path>... Đặt người dùng sở hữu và / hoặc nhóm cho các tệp hoặc thư mục được xác định bằng đường dẫn .... Đặt chủ sở hữu một cách đệ quy nếu -R được chỉ định. |
| 25 | -chgrp [-R] group <path>... Đặt nhóm sở hữu cho các tệp hoặc thư mục được xác định bằng đường dẫn .... Đặt nhóm một cách đệ quy nếu -R được chỉ định. |
| 26 | -help <cmd-name> Trả về thông tin sử dụng cho một trong các lệnh được liệt kê ở trên. Bạn phải bỏ ký tự '-' đứng đầu trong cmd. |