Apache NiFi - pochodzenie danych
Apache NiFi rejestruje i przechowuje wszystkie informacje o zdarzeniach w pobieranych danych w przepływie. Repozytorium pochodzenia danych przechowuje te informacje i zapewnia interfejs użytkownika do wyszukiwania tych informacji o zdarzeniach. Można uzyskać dostęp do pochodzenia danych dla pełnego poziomu NiFi i poziomu procesora.
Poniższa tabela zawiera listę różnych pól na liście zdarzeń NiFi Data Provenance zawiera następujące pola -
| S.No. | Nazwa pola | Opis |
|---|---|---|
| 1 | Data / godzina | Data i godzina zdarzenia. |
| 2 | Rodzaj | Typ wydarzenia, np. „UTWÓRZ”. |
| 3 | FlowFileUuid | Identyfikator UUID pliku przepływu, na którym odbywa się zdarzenie. |
| 4 | Rozmiar | Rozmiar pliku flowfile. |
| 5 | Nazwa komponentu | Nazwa komponentu, który wykonał zdarzenie. |
| 6 | Typ komponentu | Typ elementu. |
| 7 | Pokaż rodowód | Ostatnia kolumna ma ikonę pokazu rodowodu, która jest używana do wyświetlania rodowodu pliku przepływu, jak pokazano na poniższym obrazku. |
Aby uzyskać więcej informacji o wydarzeniu, użytkownik może kliknąć ikonę informacji znajdującą się w pierwszej kolumnie interfejsu użytkownika NiFi Data Provenance.
W pliku nifi.properties znajduje się kilka właściwości, które służą do zarządzania repozytorium NiFi Data Provenance.
| S.No. | Nazwa właściwości | Domyślna wartość | Opis |
|---|---|---|---|
| 1 | nifi.provenance.repository.directory.default | ./provenance_repository | Określenie domyślnej ścieżki pochodzenia danych NiFi. |
| 2 | nifi.provenance.repository.max.storage.time | 24 godziny | Określenie maksymalnego czasu przechowywania pochodzenia danych NiFi. |
| 3 | nifi.provenance.repository.max.storage.size | 1 GB | Określenie maksymalnego przechowywania pochodzenia danych NiFi. |
| 4 | nifi.provenance.repository.rollover.time | 30 sekund | Aby określić czas przewijania pochodzenia danych NiFi. |
| 5 | nifi.provenance.repository.rollover.size | 100 MB | Aby określić rozmiar najazdu pochodzenia danych NiFi. |
| 6 | nifi.provenance.repository.indexed.fields | EventType, FlowFileUUID, nazwa pliku, identyfikator procesora, relacja | Określenie pól używanych do wyszukiwania i indeksowania pochodzenia danych NiFi. |