Apache NiFi - conceitos básicos

O Apache NiFi consiste em um servidor web, controlador de fluxo e um processador, que roda em Java Virtual Machine. Também possui 3 repositórios Repositório de arquivos de fluxo, Repositório de conteúdo e Repositório de proveniência, conforme mostrado na figura abaixo.

Repositório Flowfile

Este repositório armazena o estado atual e os atributos de cada arquivo de fluxo que passa pelos fluxos de dados do Apache NiFi. A localização padrão deste repositório é o diretório raiz do apache NiFi. A localização deste repositório pode ser alterada alterando a propriedade chamada "nifi.flowfile.repository.directory".

Repositório de Conteúdo

Este repositório contém todo o conteúdo presente em todos os arquivos de fluxo da NiFi. Seu diretório padrão também está no diretório raiz do NiFi e pode ser alterado usando a propriedade "org.apache.nifi.controller.repository.FileSystemRepository". Este diretório usa muito espaço em disco, portanto é aconselhável ter espaço suficiente no disco de instalação.

Repositório de proveniência

O repositório rastreia e armazena todos os eventos de todos os arquivos de fluxo que fluem no NiFi. Existem dois repositórios de proveniência -volatile provenance repository (neste repositório todos os dados de proveniência são perdidos após o reinício) e persistent provenance repository. Seu diretório padrão também está no diretório raiz do NiFi e pode ser alterado usando as propriedades "org.apache.nifi.provenance.PersistentProvenanceRepository" e "org.apache.nifi.provenance.VolatileProvenanceRepositor" para os respectivos repositórios.