Apache NiFi - kategoryzacja procesorów

W tym rozdziale omówimy kategoryzację procesów w Apache NiFi.

Podmioty przetwarzające dane

Procesory w kategorii Data Ingestion służą do pozyskiwania danych do przepływu danych NiFi. Są to głównie punkty wyjścia dowolnego przepływu danych w apache NiFi. Niektóre procesory należące do tych kategorii to GetFile, GetHTTP, GetFTP, GetKAFKA itp.

Procesory routingu i mediacji

Procesory routingu i mediacji służą do kierowania plików przepływów do różnych procesorów lub przepływów danych zgodnie z informacjami zawartymi w atrybutach lub zawartości tych plików przepływu. Te procesory są również odpowiedzialne za sterowanie przepływem danych NiFi. Niektóre procesory należące do tej kategorii to RouteOnAttribute, RouteOnContent, ControlRate, RouteText itp.

Procesory dostępu do baz danych

Procesory z tej kategorii dostępu do bazy danych mogą wybierać lub wstawiać dane lub wykonywać i przygotowywać inne instrukcje SQL z bazy danych. Te procesory używają głównie ustawienia kontrolera puli połączeń danych Apache NiFi. Niektóre z procesorów należących do tej kategorii to ExecuteSQL, PutSQL, PutDatabaseRecord, ListDatabaseTables itp.

Procesory wyodrębniania atrybutów

Procesory wyodrębniania atrybutów są odpowiedzialne za wyodrębnianie, analizowanie, zmianę przetwarzania atrybutów pliku przepływu w przepływie danych NiFi. Niektóre procesory należące do tej kategorii to UpdateAttribute, EvaluateJSONPath, ExtractText, AttributesToJSON itp.

Procesory interakcji systemu

Procesory interakcji systemu są używane do uruchamiania procesów lub poleceń w dowolnym systemie operacyjnym. Te procesory uruchamiają również skrypty w wielu językach, aby współdziałać z różnymi systemami. Niektóre z procesorów należących do tej kategorii to ExecuteScript, ExecuteProcess, ExecuteGroovyScript, ExecuteStreamCommand itp.

Procesory transformacji danych

Procesory należące do transformacji danych mogą zmieniać zawartość plików przepływowych. Można ich użyć do pełnego zastąpienia danych pliku przepływowego zwykle używanego, gdy użytkownik musi wysłać plik przepływowy jako treść HTTP, aby wywołać procesor HTTP. Niektóre procesory należące do tej kategorii to ReplaceText, JoltTransformJSON itp.

Wysyłanie procesorów danych

Wysyłające Przetwarzacze danych są na ogół procesorami końcowymi w przepływie danych. Te procesory są odpowiedzialne za przechowywanie lub wysyłanie danych do serwera docelowego. Po pomyślnym zapisaniu lub wysłaniu danych procesory te upuszczają plik przepływowy z relacją sukcesu. Niektóre procesory należące do tej kategorii to PutEmail, PutKafka, PutSFTP, PutFile, PutFTP itp.

Procesory do rozdzielania i agregacji

Te procesory służą do dzielenia i scalania zawartości znajdującej się w pliku przepływowym. Niektóre procesory należące do tej kategorii to SplitText, SplitJson, SplitXml, MergeContent, SplitContent itp.

Procesory HTTP

Te procesory obsługują wywołania HTTP i HTTPS. Niektóre procesory należące do tej kategorii to InvokeHTTP, PostHTTP, ListenHTTP itp.

Procesory AWS

Procesory AWS są odpowiedzialne za interakcję z systemem usług internetowych Amazon. Niektóre z procesorów należących do tej kategorii to GetSQS, PutSNS, PutS3Object, FetchS3Object itp.