Apache NiFi - Catégorisation des processeurs

Dans ce chapitre, nous aborderons la catégorisation des processus dans Apache NiFi.

Processeurs d'ingestion de données

Les processeurs de la catégorie Ingestion de données sont utilisés pour ingérer des données dans le flux de données NiFi. Ce sont principalement le point de départ de tout flux de données dans apache NiFi. Certains des processeurs qui appartiennent à ces catégories sont GetFile, GetHTTP, GetFTP, GetKAFKA, etc.

Processeurs de routage et de médiation

Les processeurs de routage et de médiation sont utilisés pour acheminer les fichiers de flux vers différents processeurs ou flux de données en fonction des informations contenues dans les attributs ou du contenu de ces fichiers de flux. Ces processeurs sont également chargés de contrôler les flux de données NiFi. Certains des processeurs appartenant à cette catégorie sont RouteOnAttribute, RouteOnContent, ControlRate, RouteText, etc.

Processeurs d'accès aux bases de données

Les processeurs de cette catégorie d'accès à la base de données sont capables de sélectionner ou d'insérer des données ou d'exécuter et de préparer d'autres instructions SQL à partir de la base de données. Ces processeurs utilisent principalement le paramètre de contrôleur de pool de connexion de données d'Apache NiFi. Certains des processeurs appartenant à cette catégorie sont ExecuteSQL, PutSQL, PutDatabaseRecord, ListDatabaseTables, etc.

Processeurs d'extraction d'attributs

Les processeurs d'extraction d'attributs sont chargés d'extraire, d'analyser et de modifier le traitement des attributs du fichier de flux dans le flux de données NiFi. Certains des processeurs appartenant à cette catégorie sont UpdateAttribute, EvaluateJSONPath, ExtractText, AttributesToJSON, etc.

Processeurs d'interaction système

Les processeurs d'interaction système sont utilisés pour exécuter des processus ou des commandes dans n'importe quel système d'exploitation. Ces processeurs exécutent également des scripts dans de nombreuses langues pour interagir avec divers systèmes. Certains des processeurs appartenant à cette catégorie sont ExecuteScript, ExecuteProcess, ExecuteGroovyScript, ExecuteStreamCommand, etc.

Processeurs de transformation de données

Les processeurs appartenant à Data Transformation sont capables de modifier le contenu des fichiers de flux. Ceux-ci peuvent être utilisés pour remplacer complètement les données d'un fichier de flux normalement utilisé lorsqu'un utilisateur doit envoyer un fichier de flux en tant que corps HTTP pour appeler le processeurHTTP. Certains des processeurs appartenant à cette catégorie sont ReplaceText, JoltTransformJSON, etc.

Envoi de processeurs de données

Les processeurs de données d'envoi sont généralement le processeur final d'un flux de données. Ces processeurs sont responsables du stockage ou de l'envoi des données au serveur de destination. Après avoir réussi à stocker ou à envoyer les données, ces processeurs DROP le fichier de flux avec la relation de succès. Certains des processeurs appartenant à cette catégorie sont PutEmail, PutKafka, PutSFTP, PutFile, PutFTP, etc.

Processeurs de fractionnement et d'agrégation

Ces processeurs sont utilisés pour fractionner et fusionner le contenu présent dans un fichier de flux. Certains des processeurs appartenant à cette catégorie sont SplitText, SplitJson, SplitXml, MergeContent, SplitContent, etc.

Processeurs HTTP

Ces processeurs traitent les appels HTTP et HTTPS. Certains des processeurs appartenant à cette catégorie sont InvokeHTTP, PostHTTP, ListenHTTP, etc.

Processeurs AWS

Les processeurs AWS sont responsables de l'interaction avec le système de services Web Amazon. Certains des processeurs appartenant à cette catégorie sont GetSQS, PutSNS, PutS3Object, FetchS3Object, etc.