Apache NiFi - Proveniência de Dados
O Apache NiFi registra e armazena todas as informações sobre os eventos que ocorrem nos dados ingeridos no fluxo. O repositório de proveniência de dados armazena essas informações e fornece IU para pesquisar essas informações de evento. A proveniência dos dados também pode ser acessada para nível de NiFi completo e nível de processador.
A tabela a seguir lista os diferentes campos na lista de eventos de Proveniência de Dados NiFi com os seguintes campos -
S.No. | Nome do Campo | Descrição |
---|---|---|
1 | Data hora | Data e hora do evento. |
2 | Tipo | Tipo de evento como 'CRIAR'. |
3 | FlowFileUuid | UUID do arquivo de fluxo no qual o evento é executado. |
4 | Tamanho | Tamanho do arquivo de fluxo. |
5 | Nome do componente | Nome do componente que executou o evento. |
6 | Tipo de Componente | Tipo de componente. |
7 | Mostrar linhagem | A última coluna tem o ícone show lineage, que é usado para ver a linhagem do flowfile conforme mostrado na imagem abaixo. |
Para obter mais informações sobre o evento, o usuário pode clicar no ícone de informações presente na primeira coluna da IU da NiFi Data Provenance.
Existem algumas propriedades no arquivo nifi.properties, que são usadas para gerenciar o repositório NiFi Data Provenance.
S.No. | Nome da propriedade | Valor padrão | Descrição |
---|---|---|---|
1 | nifi.provenance.repository.directory.default | ./provenance_repository | Para especificar o caminho padrão de proveniência dos dados NiFi. |
2 | nifi.provenance.repository.max.storage.time | 24 horas | Especificar o tempo máximo de retenção da proveniência dos dados NiFi. |
3 | nifi.provenance.repository.max.storage.size | 1 GB | Para especificar o armazenamento máximo de proveniência de dados NiFi. |
4 | nifi.provenance.repository.rollover.time | 30 segs | Para especificar o tempo de rollover da proveniência dos dados NiFi. |
5 | nifi.provenance.repository.rollover.size | 100 MB | Para especificar o tamanho de rollover da proveniência dos dados NiFi. |
6 | nifi.provenance.repository.indexed.fields | EventType, FlowFileUUID, Filename, ProcessorID, Relationship | Para especificar os campos usados para pesquisar e indexar a proveniência dos dados NiFi. |