Apache NiFi - tworzenie przepływów

Apache NiFi oferuje dużą liczbę komponentów, które pomagają programistom tworzyć przepływy danych dla dowolnego typu protokołów lub źródeł danych. Aby utworzyć przepływ, programista przeciąga komponenty z paska menu na kanwę i łączy je, klikając i przeciągając myszą z jednego komponentu do drugiego.

Ogólnie rzecz biorąc, NiFi ma komponent nasłuchujący na początku przepływu, taki jak getfile, który pobiera dane z systemu źródłowego. Na drugim końcu znajduje się komponent nadajnika, taki jak putfile, a pomiędzy nimi znajdują się komponenty, które przetwarzają dane.

Na przykład, stwórzmy przepływ, który pobiera pusty plik z jednego katalogu i dodaje trochę tekstu do tego pliku i umieszcza go w innym katalogu.

• Na początek przeciągnij ikonę procesora do kanwy NiFi i wybierz procesor GetFile z listy.

• Utwórz katalog wejściowy, taki jak c:\inputdir.

• Kliknij prawym przyciskiem myszy procesor i wybierz konfigurację i dodaj na karcie właściwości Input Directory (c:\inputdir) i kliknij Zastosuj i wróć do płótna.

• Przeciągnij ikonę procesora do kanwy i wybierz procesor ReplaceText z listy.

• Kliknij prawym przyciskiem myszy procesor i wybierz konfiguruj. wproperties dodaj tekst, na przykład “Hello tutorialspoint.com” w polu tekstowym Wartość zastępcza i kliknij Zastosuj.

• Przejdź do zakładki ustawień, zaznacz pole wyboru niepowodzenia po prawej stronie, a następnie wróć do kanwy.

• Połącz procesor GetFIle z ReplaceText w relacji sukcesu.

• Przeciągnij ikonę procesora do kanwy i wybierz procesor PutFile z listy.

• Utwórz katalog wyjściowy, taki jak c:\outputdir.

• Kliknij prawym przyciskiem myszy procesor i wybierz konfiguruj. Na karcie właściwości dodajDirectory (c:\outputdir) i kliknij Zastosuj i wróć do płótna.

• Przejdź do zakładki ustawień i zaznacz pole wyboru niepowodzenie i sukces po prawej stronie, a następnie wróć do kanwy.

• Połącz procesor ReplaceText z PutFile w przypadku powodzenia relacji.

• Teraz uruchom przepływ i dodaj pusty plik w katalogu wejściowym, a zobaczysz, że zostanie przeniesiony do katalogu wyjściowego, a tekst zostanie dodany do pliku.

Postępując zgodnie z powyższymi krokami, programiści mogą wybrać dowolny procesor i inny komponent NiFi, aby stworzyć odpowiedni przepływ dla swojej organizacji lub klienta.