Apache Flume - สิ่งแวดล้อม

เราได้กล่าวถึงสถาปัตยกรรมของ Flume ไปแล้วในบทที่แล้ว ในบทนี้ให้เราดูวิธีดาวน์โหลดและตั้งค่า Apache Flume

ก่อนดำเนินการต่อคุณต้องมีสภาพแวดล้อม Java ในระบบของคุณ ก่อนอื่นตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง Java ในระบบของคุณแล้ว สำหรับตัวอย่างบางส่วนในบทช่วยสอนนี้เราได้ใช้ Hadoop HDFS (เป็นอ่างล้างจาน) ดังนั้นเราขอแนะนำให้คุณติดตั้ง Hadoop พร้อมกับ Java เพื่อรวบรวมข้อมูลเพิ่มเติมตามลิงค์ -http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

การติดตั้ง Flume

ก่อนอื่นให้ดาวน์โหลดซอฟต์แวร์ Apache Flume เวอร์ชันล่าสุดจากเว็บไซต์ https://flume.apache.org/.

ขั้นตอนที่ 1

เปิดเว็บไซต์ คลิกที่downloadทางด้านซ้ายมือของหน้าแรก จะนำคุณไปยังหน้าดาวน์โหลดของ Apache Flume

ขั้นตอนที่ 2

ในหน้าดาวน์โหลดคุณจะเห็นลิงก์สำหรับไฟล์ไบนารีและซอร์สไฟล์ของ Apache Flume คลิกที่ลิงค์apache-flume-1.6.0-bin.tar.gz

คุณจะถูกเปลี่ยนเส้นทางไปยังรายการมิเรอร์ที่คุณสามารถเริ่มดาวน์โหลดได้โดยคลิกที่มิเรอร์เหล่านี้ ในทำนองเดียวกันคุณสามารถดาวน์โหลดซอร์สโค้ดของ Apache Flume โดยคลิกที่Apache-ฟลูม-1.6.0-src.tar.gz

ขั้นตอนที่ 3

สร้างไดเร็กทอรีที่มีชื่อ Flume ในไดเร็กทอรีเดียวกับที่ไดเร็กทอรีการติดตั้งของ Hadoop, HBaseและซอฟต์แวร์อื่น ๆ ได้รับการติดตั้งแล้ว (หากคุณได้ติดตั้งไว้แล้ว) ดังที่แสดงด้านล่าง

$ mkdir Flume

ขั้นตอนที่ 4

แตกไฟล์ tar ที่ดาวน์โหลดมาดังแสดงด้านล่าง

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

ขั้นตอนที่ 5

ย้ายเนื้อหาของ apache-flume-1.6.0-bin.tar ไฟล์ไปยังไฟล์ Flumeไดเร็กทอรีที่สร้างขึ้นก่อนหน้านี้ดังที่แสดงด้านล่าง (สมมติว่าเราได้สร้างไดเร็กทอรี Flume ในผู้ใช้โลคัลชื่อ Hadoop)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

การกำหนดค่า Flume

ในการกำหนดค่า Flume เราต้องแก้ไขไฟล์สามไฟล์คือ flume-env.sh, flumeconf.properties, และ bash.rc.

การตั้งค่า Path / Classpath

ใน .bashrc ตั้งค่าโฮมโฟลเดอร์เส้นทางและคลาสพา ธ สำหรับ Flume ดังที่แสดงด้านล่าง

โฟลเดอร์ conf

หากคุณเปิดไฟล์ conf โฟลเดอร์ของ Apache Flume คุณจะมีสี่ไฟล์ต่อไปนี้ -

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template และ
  • log4j.properties.

ตอนนี้เปลี่ยนชื่อ

  • flume-conf.properties.template ไฟล์เป็น flume-conf.properties และ

  • flume-env.sh.template เช่น flume-env.sh

flume-env.sh

เปิด flume-env.sh ไฟล์และตั้งค่าไฟล์ JAVA_Home ไปยังโฟลเดอร์ที่ติดตั้ง Java ในระบบของคุณ

ตรวจสอบการติดตั้ง

ตรวจสอบการติดตั้ง Apache Flume โดยเรียกดูไฟล์ bin โฟลเดอร์และพิมพ์คำสั่งต่อไปนี้

$ ./flume-ng

หากคุณติดตั้ง Flume สำเร็จคุณจะได้รับข้อความช่วยเหลือของ Flume ดังที่แสดงด้านล่าง