Apache NiFi - категоризация процессоров

В этой главе мы обсудим категоризацию процессов в Apache NiFi.

Процессоры приема данных

Процессоры в категории «Ввод данных» используются для приема данных в поток данных NiFi. В основном это отправная точка любого потока данных в apache NiFi. Некоторые из процессоров, которые принадлежат к этим категориям, - это GetFile, GetHTTP, GetFTP, GetKAFKA и т. Д.

Процессоры маршрутизации и посредничества

Процессоры маршрутизации и посредничества используются для направления потоковых файлов различным процессорам или потокам данных в соответствии с информацией в атрибутах или содержимом этих потоковых файлов. Эти процессоры также отвечают за управление потоками данных NiFi. Некоторые из процессоров, которые относятся к этой категории, - это RouteOnAttribute, RouteOnContent, ControlRate, RouteText и т. Д.

Процессоры доступа к базе данных

Процессоры этой категории доступа к базе данных могут выбирать или вставлять данные или выполнять и подготавливать другие операторы SQL из базы данных. Эти процессоры в основном используют настройку контроллера пула подключений данных Apache NiFi. Некоторые из процессоров, принадлежащих к этой категории, - это ExecuteSQL, PutSQL, PutDatabaseRecord, ListDatabaseTables и т. Д.

Процессоры извлечения атрибутов

Процессоры извлечения атрибутов несут ответственность за извлечение, анализ и изменение обработки атрибутов файловых потоков в потоке данных NiFi. Некоторые из процессоров, принадлежащих к этой категории, - это UpdateAttribute, EvaluateJSONPath, ExtractText, AttributesToJSON и т. Д.

Системные процессоры взаимодействия

Процессоры System Interaction используются для запуска процессов или команд в любой операционной системе. Эти процессоры также запускают сценарии на многих языках для взаимодействия с различными системами. Некоторые из процессоров, которые относятся к этой категории, - это ExecuteScript, ExecuteProcess, ExecuteGroovyScript, ExecuteStreamCommand и т. Д.

Процессоры преобразования данных

Процессоры, принадлежащие к Data Transformation, могут изменять содержимое потоковых файлов. Их можно использовать для полной замены данных потокового файла, обычно используемого, когда пользователь должен отправить потоковый файл в качестве тела HTTP для вызова процессора HTTP. Некоторые из процессоров, которые относятся к этой категории, - это ReplaceText, JoltTransformJSON и т. Д.

Отправка обработчиков данных

Отправляющие обработчики данных обычно являются конечным процессором в потоке данных. Эти процессоры отвечают за хранение или отправку данных на целевой сервер. После успешного сохранения или отправки данных эти процессоры удаляют потоковый файл с отношениями успеха. Некоторые из процессоров, принадлежащих к этой категории, - это PutEmail, PutKafka, PutSFTP, PutFile, PutFTP и т. Д.

Процессоры разделения и агрегации

Эти процессоры используются для разделения и объединения содержимого, присутствующего в потоковом файле. Некоторые из процессоров, принадлежащих к этой категории, - это SplitText, SplitJson, SplitXml, MergeContent, SplitContent и т. Д.

HTTP-процессоры

Эти процессоры обрабатывают вызовы HTTP и HTTPS. Некоторые из процессоров, которые относятся к этой категории, - это InvokeHTTP, PostHTTP, ListenHTTP и т. Д.

Процессоры AWS

Процессоры AWS отвечают за взаимодействие с системой веб-сервисов Amazon. Некоторые из процессоров, которые относятся к этой категории, - это GetSQS, PutSNS, PutS3Object, FetchS3Object и т. Д.