Apache NiFi - Datenprovenienz
Apache NiFi protokolliert und speichert alle Informationen zu den Ereignissen, die in den aufgenommenen Daten im Datenfluss auftreten. Das Datenherkunfts-Repository speichert diese Informationen und bietet eine Benutzeroberfläche zum Durchsuchen dieser Ereignisinformationen. Auf die Datenherkunft kann auch für die volle NiFi- und Prozessorebene zugegriffen werden.
In der folgenden Tabelle sind die verschiedenen Felder in der NiFi Data Provenance-Ereignisliste aufgeführt. Die folgenden Felder sind aufgeführt:
S.No. | Feldname | Beschreibung |
---|---|---|
1 | Terminzeit | Datum und Uhrzeit der Veranstaltung. |
2 | Art | Art des Ereignisses wie 'CREATE'. |
3 | FlowFileUuid | UUID der Flussdatei, für die das Ereignis ausgeführt wird. |
4 | Größe | Größe der Flussdatei. |
5 | Komponentenname | Name der Komponente, die das Ereignis ausgeführt hat. |
6 | Komponententyp | Typ der Komponente. |
7 | Abstammung anzeigen | In der letzten Spalte befindet sich das Symbol "Herkunft anzeigen", mit dem die Ablauflinie der Flussdatei angezeigt wird (siehe Abbildung unten). |
Um weitere Informationen zum Ereignis zu erhalten, kann ein Benutzer auf das Informationssymbol in der ersten Spalte der NiFi Data Provenance-Benutzeroberfläche klicken.
Die Datei nifi.properties enthält einige Eigenschaften, mit denen das NiFi Data Provenance-Repository verwaltet wird.
S.No. | Name des Anwesens | Standardwert | Beschreibung |
---|---|---|---|
1 | nifi.provenance.repository.directory.default | ./provenance_repository | Festlegen des Standardpfads für die Herkunft der NiFi-Daten. |
2 | nifi.provenance.repository.max.storage.time | 24 Stunden | Angabe der maximalen Aufbewahrungszeit der NiFi-Datenherkunft. |
3 | nifi.provenance.repository.max.storage.size | 1 GB | Angabe der maximalen Speicherung der Herkunft von NiFi-Daten. |
4 | nifi.provenance.repository.rollover.time | 30 Sek | Angabe der Rollover-Zeit für die Herkunft der NiFi-Daten. |
5 | nifi.provenance.repository.rollover.size | 100 MB | Angabe der Rollover-Größe der Herkunft der NiFi-Daten. |
6 | nifi.provenance.repository.indexed.fields | EventType, FlowFileUUID, Dateiname, Prozessor-ID, Beziehung | Angabe der Felder, die zum Suchen und Indizieren der Herkunft von NiFi-Daten verwendet werden. |