Apache Flume - Umgebung

Wir haben bereits im vorherigen Kapitel die Architektur von Flume besprochen. In diesem Kapitel erfahren Sie, wie Sie Apache Flume herunterladen und einrichten.

Bevor Sie fortfahren können, benötigen Sie eine Java-Umgebung in Ihrem System. Stellen Sie daher zunächst sicher, dass Java auf Ihrem System installiert ist. Für einige Beispiele in diesem Tutorial haben wir Hadoop HDFS (als Senke) verwendet. Daher empfehlen wir Ihnen, Hadoop zusammen mit Java zu installieren. Um weitere Informationen zu sammeln, folgen Sie dem Link -http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

Flume installieren

Laden Sie zunächst die neueste Version der Apache Flume-Software von der Website herunter https://flume.apache.org/.

Schritt 1

Öffnen Sie die Website. Klick auf dasdownloadLink auf der linken Seite der Homepage. Sie gelangen auf die Download-Seite von Apache Flume.

Schritt 2

Auf der Download-Seite sehen Sie die Links für Binär- und Quelldateien von Apache Flume. Klicken Sie auf den Link apache-flume-1.6.0-bin.tar.gz

Sie werden zu einer Liste von Spiegeln weitergeleitet, in denen Sie den Download starten können, indem Sie auf einen dieser Spiegel klicken. Auf die gleiche Weise können Sie den Quellcode von Apache Flume herunterladen, indem Sie auf apache-flume-1.6.0-src.tar.gz klicken .

Schritt 3

Erstellen Sie ein Verzeichnis mit dem Namen Flume in demselben Verzeichnis, in dem sich die Installationsverzeichnisse von befinden Hadoop, HBaseund andere Software wurden installiert (falls Sie bereits eine installiert haben), wie unten gezeigt.

$ mkdir Flume

Schritt 4

Extrahieren Sie die heruntergeladenen TAR-Dateien wie unten gezeigt.

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Schritt 5

Verschieben Sie den Inhalt von Apache-flume-1.6.0-bin.tar Datei an die FlumeVerzeichnis wie zuvor gezeigt zuvor erstellt. (Angenommen, wir haben das Flume-Verzeichnis im lokalen Benutzer Hadoop erstellt.)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Flume konfigurieren

Um Flume zu konfigurieren, müssen wir drei Dateien ändern, nämlich flume-env.sh, flumeconf.properties, und bash.rc.

Einstellen des Pfads / Klassenpfads

In dem .bashrc Legen Sie den Basisordner, den Pfad und den Klassenpfad für Flume wie unten gezeigt fest.

conf Ordner

Wenn Sie die öffnen conf Ordner von Apache Flume, haben Sie die folgenden vier Dateien -

flume-conf.properties.template,
flume-env.sh.template,
flume-env.ps1.template und
log4j.properties.

Jetzt umbenennen

flume-conf.properties.template Datei als flume-conf.properties und
flume-env.sh.template wie flume-env.sh

flume-env.sh

Öffnen flume-env.sh Datei und setzen Sie die JAVA_Home in den Ordner, in dem Java auf Ihrem System installiert wurde.

Überprüfen der Installation

Überprüfen Sie die Installation von Apache Flume, indem Sie die durchsuchen bin Ordner und geben Sie den folgenden Befehl ein.

$ ./flume-ng

Wenn Sie Flume erfolgreich installiert haben, erhalten Sie eine Hilfeaufforderung von Flume (siehe unten).