MapReduce - Quản trị Hadoop

Chương này giải thích quản trị Hadoop bao gồm cả quản trị HDFS và MapReduce.

Quản trị HDFS bao gồm giám sát cấu trúc tệp HDFS, vị trí và các tệp được cập nhật.
Quản trị MapReduce bao gồm giám sát danh sách các ứng dụng, cấu hình các nút, trạng thái ứng dụng, v.v.

Giám sát HDFS

HDFS (Hệ thống tệp phân tán Hadoop) chứa các thư mục người dùng, tệp đầu vào và tệp đầu ra. Sử dụng các lệnh MapReduce,put và get, để lưu trữ và truy xuất.

Sau khi khởi động khuôn khổ Hadoop (daemons) bằng cách truyền lệnh “start-all.sh” trên “/ $ HADOOP_HOME / sbin”, hãy chuyển URL sau vào trình duyệt “http: // localhost: 50070”. Bạn sẽ thấy màn hình sau trên trình duyệt của mình.

Ảnh chụp màn hình sau đây cho thấy cách duyệt HDFS duyệt.

Ảnh chụp màn hình sau đây cho thấy cấu trúc tệp của HDFS. Nó hiển thị các tệp trong thư mục “/ user / hadoop”.

Ảnh chụp màn hình sau đây hiển thị thông tin Datanode trong một cụm. Tại đây bạn có thể tìm thấy một nút với cấu hình và dung lượng của nó.

MapReduce Giám sát công việc

Một ứng dụng MapReduce là một tập hợp các công việc (Công việc bản đồ, Bộ kết hợp, Người phân vùng và Giảm công việc). Bắt buộc phải theo dõi và duy trì những điều sau:

Cấu hình của datanode nơi ứng dụng phù hợp.
Số lượng nút dữ liệu và tài nguyên được sử dụng cho mỗi ứng dụng.

Để giám sát tất cả những điều này, bắt buộc chúng ta phải có một giao diện người dùng. Sau khi khởi động khung công tác Hadoop bằng cách chuyển lệnh “start-all.sh” trên “/ $ HADOOP_HOME / sbin”, hãy chuyển URL sau vào trình duyệt “http: // localhost: 8080”. Bạn sẽ thấy màn hình sau trên trình duyệt của mình.

Trong ảnh chụp màn hình ở trên, con trỏ tay nằm trên ID ứng dụng. Chỉ cần nhấp vào nó để tìm màn hình sau trên trình duyệt của bạn. Nó mô tả những điều sau:

Ứng dụng hiện tại đang chạy trên người dùng nào
Tên ứng dụng
Loại ứng dụng đó
Tình trạng hiện tại, tình trạng cuối cùng
Thời gian bắt đầu ứng dụng, đã trôi qua (thời gian hoàn thành), nếu nó đã hoàn thành tại thời điểm giám sát
Lịch sử của ứng dụng này, tức là thông tin nhật ký
Và cuối cùng là thông tin về nút, tức là các nút đã tham gia chạy ứng dụng.

Ảnh chụp màn hình sau đây hiển thị chi tiết của một ứng dụng cụ thể:

Ảnh chụp màn hình sau đây mô tả thông tin các nút hiện đang chạy. Ở đây, ảnh chụp màn hình chỉ chứa một nút. Một con trỏ tay hiển thị địa chỉ localhost của nút đang chạy.