Apache NiFi - Concepts de base

Apache NiFi se compose d'un serveur Web, d'un contrôleur de flux et d'un processeur, qui s'exécute sur Java Virtual Machine. Il dispose également de 3 référentiels Flowfile Repository, Content Repository et Provenance Repository, comme illustré dans la figure ci-dessous.

Référentiel Flowfile

Ce référentiel stocke l'état actuel et les attributs de chaque fichier de flux qui passe par les flux de données d'apache NiFi. L'emplacement par défaut de ce référentiel est dans le répertoire racine d'apache NiFi. L'emplacement de ce référentiel peut être modifié en modifiant la propriété nommée "nifi.flowfile.repository.directory".

Référentiel de contenu

Ce référentiel contient tout le contenu présent dans tous les flowfiles de NiFi. Son répertoire par défaut se trouve également dans le répertoire racine de NiFi et il peut être modifié à l'aide de la propriété "org.apache.nifi.controller.repository.FileSystemRepository". Ce répertoire utilise un grand espace sur le disque, il est donc conseillé de disposer de suffisamment d'espace sur le disque d'installation.

Référentiel de provenance

Le référentiel suit et stocke tous les événements de tous les fichiers de flux qui circulent dans NiFi. Il existe deux référentiels de provenance -volatile provenance repository (dans ce référentiel, toutes les données de provenance sont perdues après le redémarrage) et persistent provenance repository. Son répertoire par défaut se trouve également dans le répertoire racine de NiFi et il peut être modifié à l'aide des propriétés "org.apache.nifi.provenance.PersistentProvenanceRepository" et "org.apache.nifi.provenance.VolatileProvenanceRepositor" pour les référentiels respectifs.