Hadoop - Hoạt động HDFS

Khởi động HDFS

Ban đầu bạn phải định dạng hệ thống tệp HDFS đã cấu hình, mở nút tên (máy chủ HDFS) và thực hiện lệnh sau.

$ hadoop namenode -format

Sau khi định dạng HDFS, hãy khởi động hệ thống tệp phân tán. Lệnh sau sẽ bắt đầu nút tên cũng như các nút dữ liệu dưới dạng cụm.

$ start-dfs.sh

Liệt kê tệp trong HDFS

Sau khi tải thông tin vào máy chủ, chúng ta có thể tìm thấy danh sách các tệp trong thư mục, trạng thái của tệp, sử dụng ‘ls’. Dưới đây là cú pháp củals mà bạn có thể chuyển tới một thư mục hoặc tên tệp làm đối số.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Chèn dữ liệu vào HDFS

Giả sử chúng ta có dữ liệu trong tệp được gọi là file.txt trong hệ thống cục bộ, dữ liệu này phải được lưu trong hệ thống tệp hdfs. Làm theo các bước dưới đây để chèn tệp cần thiết vào hệ thống tệp Hadoop.

Bước 1

Bạn phải tạo một thư mục đầu vào.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Bước 2

Chuyển và lưu trữ tệp dữ liệu từ hệ thống cục bộ sang hệ thống tệp Hadoop bằng lệnh put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Bước 3

Bạn có thể xác minh tệp bằng lệnh ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Lấy dữ liệu từ HDFS

Giả sử chúng ta có một tệp trong HDFS được gọi là outfile. Dưới đây là một minh chứng đơn giản để truy xuất tệp được yêu cầu từ hệ thống tệp Hadoop.

Bước 1

Ban đầu, hãy xem dữ liệu từ HDFS bằng cách sử dụng cat chỉ huy.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Bước 2

Tải tệp từ HDFS sang hệ thống tệp cục bộ bằng cách sử dụng get chỉ huy.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Tắt HDFS

Bạn có thể tắt HDFS bằng cách sử dụng lệnh sau.

$ stop-dfs.sh