Apache Tajo - Kiến trúc
Hình minh họa sau đây mô tả kiến trúc của Apache Tajo.
Bảng sau đây mô tả chi tiết từng thành phần.
| Không. | Thành phần & Mô tả |
|---|---|
| 1 | Client Client gửi câu lệnh SQL cho Tajo Master để nhận kết quả. |
| 2 | Master Master là daemon chính. Nó chịu trách nhiệm lập kế hoạch truy vấn và là người điều phối cho người lao động. |
| 3 | Catalog server Duy trì các mô tả bảng và chỉ mục. Nó được nhúng trong trình nền Master. Máy chủ danh mục sử dụng Apache Derby làm lớp lưu trữ và kết nối qua máy khách JDBC. |
| 4 | Worker Nút chủ giao nhiệm vụ cho các nút công nhân. TajoWorker xử lý dữ liệu. Khi số lượng TajoWorker tăng lên, khả năng xử lý cũng tăng tuyến tính. |
| 5 | Query Master Tajo master gán truy vấn cho Query Master. Query Master chịu trách nhiệm kiểm soát một kế hoạch thực thi phân tán. Nó khởi chạy TaskRunner và lên lịch các tác vụ cho TaskRunner. Vai trò chính của Query Master là giám sát các tác vụ đang chạy và báo cáo chúng cho nút Master. |
| 6 | Node Managers Quản lý tài nguyên của nút công nhân. Nó quyết định việc phân bổ các yêu cầu tới nút. |
| 7 | TaskRunner Hoạt động như một công cụ thực thi truy vấn cục bộ. Nó được sử dụng để chạy và giám sát quá trình truy vấn. TaskRunner xử lý từng tác vụ một. Nó có ba thuộc tính chính sau:
|
| số 8 | Query Executor Nó được sử dụng để thực hiện một truy vấn. |
| 9 | Storage service Kết nối bộ lưu trữ dữ liệu cơ bản với Tajo. |
Quy trình làm việc
Tajo sử dụng Hệ thống tệp phân tán Hadoop (HDFS) làm lớp lưu trữ và có công cụ thực thi truy vấn riêng thay vì khung công tác MapReduce. Một cụm Tajo bao gồm một nút chính và một số nhân công trên các nút cụm.
Người chủ chịu trách nhiệm chính về việc lập kế hoạch truy vấn và người điều phối cho người lao động. Master chia một truy vấn thành các nhiệm vụ nhỏ và giao cho các worker. Mỗi công nhân có một công cụ truy vấn cục bộ thực thi một biểu đồ xoay chiều có hướng của các toán tử vật lý.
Ngoài ra, Tajo có thể kiểm soát luồng dữ liệu phân tán linh hoạt hơn so với MapReduce và hỗ trợ kỹ thuật lập chỉ mục.
Giao diện dựa trên web của Tajo có các khả năng sau:
- Tùy chọn để tìm cách lập kế hoạch cho các truy vấn đã gửi
- Tùy chọn để tìm cách phân phối các truy vấn trên các nút
- Tùy chọn để kiểm tra trạng thái của cụm và các nút