Apache NiFi - Phân loại bộ xử lý

Trong chương này, chúng ta sẽ thảo luận về phân loại quy trình trong Apache NiFi.

Bộ xử lý nhập dữ liệu

Các bộ xử lý trong danh mục Nhập dữ liệu được sử dụng để nhập dữ liệu vào luồng dữ liệu NiFi. Đây chủ yếu là điểm bắt đầu của bất kỳ luồng dữ liệu nào trong apache NiFi. Một số bộ xử lý thuộc các danh mục này là GetFile, GetHTTP, GetFTP, GetKAFKA, v.v.

Bộ xử lý định tuyến và dàn xếp

Các bộ xử lý Định tuyến và Dàn xếp được sử dụng để định tuyến các luồng tới các bộ xử lý hoặc luồng dữ liệu khác nhau theo thông tin trong thuộc tính hoặc nội dung của các luồng đó. Các bộ xử lý này cũng chịu trách nhiệm kiểm soát các luồng dữ liệu NiFi. Một số bộ xử lý thuộc loại này là RouteOnAttribute, RouteOnContent, ControlRate, RouteText, v.v.

Bộ xử lý truy cập cơ sở dữ liệu

Các bộ xử lý của danh mục Truy cập Cơ sở dữ liệu này có khả năng chọn hoặc chèn dữ liệu hoặc thực thi và chuẩn bị các câu lệnh SQL khác từ cơ sở dữ liệu. Các bộ xử lý này chủ yếu sử dụng cài đặt bộ điều khiển nhóm kết nối dữ liệu của Apache NiFi. Một số bộ xử lý thuộc loại này là ExecuteSQL, PutSQL, PutDatabaseRecord, ListDatabaseTables, v.v.

Bộ xử lý trích xuất thuộc tính

Bộ xử lý trích xuất thuộc tính chịu trách nhiệm trích xuất, phân tích, thay đổi quá trình xử lý thuộc tính lưu lượng trong luồng dữ liệu NiFi. Một số bộ xử lý thuộc danh mục này là UpdateAttribute, AssessJSONPath, ExtractText, AttributesToJSON, v.v.

Bộ xử lý tương tác hệ thống

Bộ xử lý Tương tác Hệ thống được sử dụng để chạy các quy trình hoặc lệnh trong bất kỳ hệ điều hành nào. Các bộ xử lý này cũng chạy các tập lệnh bằng nhiều ngôn ngữ để tương tác với nhiều hệ thống khác nhau. Một số bộ xử lý thuộc loại này là ExecuteScript, ExecuteProcess, ExecuteGroovyScript, ExecuteStreamCommand, v.v.

Bộ xử lý chuyển đổi dữ liệu

Các bộ xử lý thuộc Chuyển đổi dữ liệu có khả năng thay đổi nội dung của các luồng. Chúng có thể được sử dụng để thay thế hoàn toàn dữ liệu của một luồng thông thường được sử dụng khi người dùng phải gửi luồng dữ liệu dưới dạng phần thân HTTP để gọi bộ xử lýokeHTTP. Một số bộ xử lý thuộc thể loại này là ReplaceText, JoltTransformJSON, v.v.

Gửi bộ xử lý dữ liệu

Gửi dữ liệu Bộ xử lý nói chung là bộ xử lý cuối cùng trong một luồng dữ liệu. Các bộ xử lý này có nhiệm vụ lưu trữ hoặc gửi dữ liệu đến máy chủ đích. Sau khi lưu trữ hoặc gửi dữ liệu thành công, các bộ xử lý này DROP lưu lượng với mối quan hệ thành công. Một số bộ xử lý thuộc danh mục này là PutEmail, PutKafka, PutSFTP, PutFile, PutFTP, v.v.

Bộ xử lý tách và tổng hợp

Các bộ xử lý này được sử dụng để tách và hợp nhất nội dung có trong một luồng. Một số bộ xử lý thuộc loại này là SplitText, SplitJson, SplitXml, MergeContent, SplitContent, v.v.

Bộ xử lý HTTP

Các bộ xử lý này xử lý các cuộc gọi HTTP và HTTPS. Một số bộ xử lý thuộc danh mục này là InvokeHTTP, PostHTTP, ListenHTTP, v.v.

Bộ xử lý AWS

Bộ xử lý AWS chịu trách nhiệm tương tác với hệ thống dịch vụ web của Amazon. Một số bộ xử lý thuộc thể loại này là GetSQS, PutSNS, PutS3Object, FetchS3Object, v.v.