Apache Flume - สิ่งแวดล้อม
เราได้กล่าวถึงสถาปัตยกรรมของ Flume ไปแล้วในบทที่แล้ว ในบทนี้ให้เราดูวิธีดาวน์โหลดและตั้งค่า Apache Flume
ก่อนดำเนินการต่อคุณต้องมีสภาพแวดล้อม Java ในระบบของคุณ ก่อนอื่นตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง Java ในระบบของคุณแล้ว สำหรับตัวอย่างบางส่วนในบทช่วยสอนนี้เราได้ใช้ Hadoop HDFS (เป็นอ่างล้างจาน) ดังนั้นเราขอแนะนำให้คุณติดตั้ง Hadoop พร้อมกับ Java เพื่อรวบรวมข้อมูลเพิ่มเติมตามลิงค์ -http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm
การติดตั้ง Flume
ก่อนอื่นให้ดาวน์โหลดซอฟต์แวร์ Apache Flume เวอร์ชันล่าสุดจากเว็บไซต์ https://flume.apache.org/.
ขั้นตอนที่ 1
เปิดเว็บไซต์ คลิกที่downloadทางด้านซ้ายมือของหน้าแรก จะนำคุณไปยังหน้าดาวน์โหลดของ Apache Flume
ขั้นตอนที่ 2
ในหน้าดาวน์โหลดคุณจะเห็นลิงก์สำหรับไฟล์ไบนารีและซอร์สไฟล์ของ Apache Flume คลิกที่ลิงค์apache-flume-1.6.0-bin.tar.gz
คุณจะถูกเปลี่ยนเส้นทางไปยังรายการมิเรอร์ที่คุณสามารถเริ่มดาวน์โหลดได้โดยคลิกที่มิเรอร์เหล่านี้ ในทำนองเดียวกันคุณสามารถดาวน์โหลดซอร์สโค้ดของ Apache Flume โดยคลิกที่Apache-ฟลูม-1.6.0-src.tar.gz
ขั้นตอนที่ 3
สร้างไดเร็กทอรีที่มีชื่อ Flume ในไดเร็กทอรีเดียวกับที่ไดเร็กทอรีการติดตั้งของ Hadoop, HBaseและซอฟต์แวร์อื่น ๆ ได้รับการติดตั้งแล้ว (หากคุณได้ติดตั้งไว้แล้ว) ดังที่แสดงด้านล่าง
$ mkdir Flume
ขั้นตอนที่ 4
แตกไฟล์ tar ที่ดาวน์โหลดมาดังแสดงด้านล่าง
$ cd Downloads/
$ tar zxvf apache-flume-1.6.0-bin.tar.gz
$ tar zxvf apache-flume-1.6.0-src.tar.gz
ขั้นตอนที่ 5
ย้ายเนื้อหาของ apache-flume-1.6.0-bin.tar ไฟล์ไปยังไฟล์ Flumeไดเร็กทอรีที่สร้างขึ้นก่อนหน้านี้ดังที่แสดงด้านล่าง (สมมติว่าเราได้สร้างไดเร็กทอรี Flume ในผู้ใช้โลคัลชื่อ Hadoop)
$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/
การกำหนดค่า Flume
ในการกำหนดค่า Flume เราต้องแก้ไขไฟล์สามไฟล์คือ flume-env.sh, flumeconf.properties, และ bash.rc.
การตั้งค่า Path / Classpath
ใน .bashrc ตั้งค่าโฮมโฟลเดอร์เส้นทางและคลาสพา ธ สำหรับ Flume ดังที่แสดงด้านล่าง
โฟลเดอร์ conf
หากคุณเปิดไฟล์ conf โฟลเดอร์ของ Apache Flume คุณจะมีสี่ไฟล์ต่อไปนี้ -
- flume-conf.properties.template,
- flume-env.sh.template,
- flume-env.ps1.template และ
- log4j.properties.
ตอนนี้เปลี่ยนชื่อ
flume-conf.properties.template ไฟล์เป็น flume-conf.properties และ
flume-env.sh.template เช่น flume-env.sh
flume-env.sh
เปิด flume-env.sh ไฟล์และตั้งค่าไฟล์ JAVA_Home ไปยังโฟลเดอร์ที่ติดตั้ง Java ในระบบของคุณ
ตรวจสอบการติดตั้ง
ตรวจสอบการติดตั้ง Apache Flume โดยเรียกดูไฟล์ bin โฟลเดอร์และพิมพ์คำสั่งต่อไปนี้
$ ./flume-ng
หากคุณติดตั้ง Flume สำเร็จคุณจะได้รับข้อความช่วยเหลือของ Flume ดังที่แสดงด้านล่าง