Apache Flume - Środowisko

Omówiliśmy już architekturę Flume w poprzednim rozdziale. W tym rozdziale zobaczmy, jak pobrać i skonfigurować Apache Flume.

Zanim przejdziesz dalej, musisz mieć w swoim systemie środowisko Java. Przede wszystkim upewnij się, że masz zainstalowaną Javę w swoim systemie. W przypadku niektórych przykładów w tym samouczku użyliśmy Hadoop HDFS (jako ujścia). Dlatego zalecamy zainstalowanie Hadoop wraz z Javą. Aby zebrać więcej informacji, kliknij link -http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

Instalowanie Flume

Przede wszystkim pobierz najnowszą wersję oprogramowania Apache Flume ze strony internetowej https://flume.apache.org/.

Krok 1

Otwórz witrynę. Kliknij nadownloadlink po lewej stronie strony głównej. Zostaniesz przeniesiony na stronę pobierania Apache Flume.

Krok 2

Na stronie pobierania można zobaczyć łącza do plików binarnych i źródłowych Apache Flume. Kliknij odsyłacz apache-flume-1.6.0-bin.tar.gz

Zostaniesz przekierowany do listy serwerów lustrzanych, z których możesz rozpocząć pobieranie, klikając dowolny z tych serwerów. W ten sam sposób możesz pobrać kod źródłowy Apache Flume, klikając apache-flume-1.6.0-src.tar.gz .

Krok 3

Utwórz katalog o nazwie Flume w tym samym katalogu, w którym znajdują się katalogi instalacyjne Hadoop, HBasei inne oprogramowanie zostało zainstalowane (jeśli zostało już zainstalowane), jak pokazano poniżej.

$ mkdir Flume

Krok 4

Rozpakuj pobrane pliki tar, jak pokazano poniżej.

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Krok 5

Przenieś zawartość apache-flume-1.6.0-bin.tar plik do Flumekatalog utworzony wcześniej, jak pokazano poniżej. (Załóżmy, że utworzyliśmy katalog Flume w lokalnym użytkowniku o nazwie Hadoop.)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Konfiguracja Flume

Aby skonfigurować Flume, musimy zmodyfikować trzy pliki, a mianowicie: flume-env.sh, flumeconf.properties, i bash.rc.

Ustawianie ścieżki / ścieżki klas

w .bashrc plik, ustaw folder domowy, ścieżkę i ścieżkę klasy dla Flume, jak pokazano poniżej.

conf Folder

Jeśli otworzysz conf folder Apache Flume, będziesz mieć następujące cztery pliki -

flume-conf.properties.template,
flume-env.sh.template,
flume-env.ps1.template i
log4j.properties.

Teraz zmień nazwę

flume-conf.properties.template plik jako flume-conf.properties i
flume-env.sh.template tak jak flume-env.sh

flume-env.sh

otwarty flume-env.sh plik i ustaw plik JAVA_Home do folderu, w którym w systemie została zainstalowana Java.

Weryfikacja instalacji

Sprawdź instalację Apache Flume, przeglądając plik bin folder i wpisując następujące polecenie.

$ ./flume-ng

Jeśli pomyślnie zainstalowałeś Flume, pojawi się monit pomocy Flume, jak pokazano poniżej.