Apache NiFi - procesory

Procesory Apache NiFi to podstawowe bloki do tworzenia przepływu danych. Każdy procesor ma inną funkcjonalność, co przyczynia się do tworzenia wyjściowego pliku przepływu. Przepływ danych pokazany na poniższym obrazku polega na pobieraniu pliku z jednego katalogu za pomocą procesora GetFile i przechowywaniu go w innym katalogu przy użyciu procesora PutFile.

Dostać plik

Proces GetFile służy do pobierania plików o określonym formacie z określonego katalogu. Zapewnia także inne opcje dla użytkownika w celu uzyskania większej kontroli podczas pobierania. Omówimy to w sekcji właściwości poniżej.

Ustawienia GetFile

Poniżej przedstawiono różne ustawienia procesora GetFile -

Nazwa

W ustawieniu Nazwa użytkownik może zdefiniować dowolną nazwę dla procesorów według projektu lub według tego, co sprawia, że ​​nazwa jest bardziej zrozumiała.

Włączyć

Za pomocą tego ustawienia użytkownik może włączyć lub wyłączyć procesor.

Czas trwania kary

To ustawienie umożliwia użytkownikowi dodanie czasu trwania kary w przypadku awarii pliku przepływu.

Okres uzyskiwania plonów

To ustawienie służy do określenia czasu uzysku procesora. W tym czasie proces nie jest ponownie planowany.

Poziom biuletynu

To ustawienie służy do określenia poziomu rejestrowania tego procesora.

Automatyczne kończenie relacji

Zawiera listę wszystkich dostępnych relacji tego konkretnego procesu. Zaznaczając pola, użytkownik może zaprogramować procesor tak, aby przerywał plik przepływu w tym zdarzeniu i nie wysyłał go dalej w przepływie.

Planowanie GetFile

Oto opcje planowania oferowane przez procesor GetFile -

Harmonogram strategii

Możesz zaplanować proces na podstawie czasu, wybierając zależny od czasu lub określony ciąg CRON, wybierając opcję sterownika CRON.

Równoczesne zadania

Ta opcja służy do definiowania harmonogramu zadań współbieżnych dla tego procesora.

Wykonanie

Korzystając z tej opcji, użytkownik może określić, czy procesor ma być uruchamiany we wszystkich węzłach, czy tylko w węźle podstawowym.

Uruchom harmonogram

Służy do definiowania czasu dla strategii opartej na czasie lub wyrażenia CRON dla strategii opartej na CRON.

Właściwości GetFile

GetFile oferuje wiele właściwości, jak pokazano na poniższym obrazku, szalejące obowiązkowe właściwości, takie jak katalog wejściowy i filtr plików, do opcjonalnych właściwości, takich jak filtr ścieżki i maksymalny rozmiar pliku. Za pomocą tych właściwości użytkownik może zarządzać procesem pobierania plików.

GetFile Comments

Ta sekcja służy do określenia wszelkich informacji o procesorze.

PutFile

Procesor PutFile służy do przechowywania pliku z przepływu danych do określonej lokalizacji.

Ustawienia PutFile

Procesor PutFile ma następujące ustawienia -

Nazwa

W ustawieniu Nazwa użytkownik może zdefiniować dowolną nazwę dla procesorów albo zgodnie z projektem, albo według tego, co sprawia, że ​​nazwa jest bardziej zrozumiała.

Włączyć

Za pomocą tego ustawienia użytkownik może włączyć lub wyłączyć procesor.

Czas trwania kary

To ustawienie umożliwia użytkownikowi dodanie czasu trwania kary w przypadku awarii pliku przepływu.

Okres uzyskiwania plonów

To ustawienie służy do określenia czasu uzysku procesora. W tym czasie proces nie jest ponownie planowany.

Poziom biuletynu

To ustawienie służy do określenia poziomu rejestrowania tego procesora.

Automatyczne kończenie relacji

To ustawienie zawiera listę sprawdzania wszystkich dostępnych relacji tego konkretnego procesu. Zaznaczając pola, użytkownik może zaprogramować procesor tak, aby przerywał plik przepływu w tym zdarzeniu i nie wysyłał go dalej w przepływie.

Planowanie PutFile

Oto następujące opcje planowania oferowane przez procesor PutFile -

Harmonogram strategii

Proces można zaplanować na podstawie czasu, wybierając sterowanie czasowe lub określony ciąg CRON, wybierając opcję sterownika CRON. Istnieje również strategia eksperymentalna sterowana zdarzeniami, która wyzwala procesor w określonym zdarzeniu.

Równoczesne zadania

Ta opcja służy do definiowania harmonogramu zadań współbieżnych dla tego procesora.

Wykonanie

Za pomocą tej opcji użytkownik może zdefiniować, czy procesor ma być uruchamiany we wszystkich węzłach, czy tylko w węźle podstawowym.

Uruchom harmonogram

Służy do definiowania czasu dla strategii sterowanej zegarem lub wyrażenia CRON dla strategii opartej na CRON.

Właściwości PutFile

Procesor PutFile zapewnia właściwości, takie jak Directory do określenia katalogu wyjściowego na potrzeby przesyłania plików i inne do zarządzania transferem, jak pokazano na poniższym obrazku.

Komentarze PutFile

Ta sekcja służy do określenia wszelkich informacji o procesorze.