Apache Flume - Môi trường

Chúng ta đã thảo luận về kiến trúc của Flume trong chương trước. Trong chương này, chúng ta hãy xem cách tải xuống và thiết lập Apache Flume.

Trước khi tiếp tục, bạn cần có một môi trường Java trong hệ thống của mình. Vì vậy, trước hết, hãy đảm bảo rằng bạn đã cài đặt Java trong hệ thống của mình. Đối với một số ví dụ trong hướng dẫn này, chúng tôi đã sử dụng Hadoop HDFS (dưới dạng chìm). Do đó, chúng tôi khuyên bạn nên cài đặt Hadoop cùng với Java. Để thu thập thêm thông tin, hãy theo liên kết -http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

Cài đặt Flume

Trước hết, hãy tải xuống phiên bản mới nhất của phần mềm Apache Flume từ trang web https://flume.apache.org/.

Bước 1

Mở trang web. Bấm vàodownloadliên kết ở phía bên trái của trang chủ. Nó sẽ đưa bạn đến trang tải xuống Apache Flume.

Bước 2

Trong trang Tải xuống, bạn có thể thấy các liên kết cho tệp nhị phân và tệp nguồn của Apache Flume. Nhấp vào liên kết apache-flume-1.6.0-bin.tar.gz

Bạn sẽ được chuyển hướng đến danh sách các bản sao mà bạn có thể bắt đầu tải xuống bằng cách nhấp vào bất kỳ bản sao nào trong số các bản sao này. Theo cách tương tự, bạn có thể tải xuống mã nguồn của Apache Flume bằng cách nhấp vào apache-flume-1.6.0-src.tar.gz .

Bước 3

Tạo một thư mục với tên Flume trong cùng một thư mục chứa các thư mục cài đặt của Hadoop, HBasevà các phần mềm khác đã được cài đặt (nếu bạn đã cài đặt bất kỳ phần mềm nào) như hình dưới đây.

$ mkdir Flume

Bước 4

Giải nén các tệp tar đã tải xuống như hình dưới đây.

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Bước 5

Di chuyển nội dung của apache-flume-1.6.0-bin.tar nộp vào Flumethư mục đã tạo trước đó như hình dưới đây. (Giả sử chúng ta đã tạo thư mục Flume trong người dùng cục bộ có tên Hadoop.)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Cấu hình Flume

Để cấu hình Flume, chúng ta phải sửa đổi ba tệp, cụ thể là, flume-env.sh, flumeconf.properties, và bash.rc.

Đặt Path / Classpath

bên trong .bashrc tập tin, thiết lập thư mục chính, đường dẫn và classpath cho Flume như hình dưới đây.

Thư mục conf

Nếu bạn mở conf thư mục của Apache Flume, bạn sẽ có bốn tệp sau:

flume-conf.properties.template,
flume-env.sh.template,
flume-env.ps1.template và
log4j.properties.

Bây giờ đổi tên

flume-conf.properties.template nộp hồ sơ như flume-conf.properties và
flume-env.sh.template như flume-env.sh

flume-env.sh

Mở flume-env.sh tập tin và đặt JAVA_Home vào thư mục đã cài đặt Java trong hệ thống của bạn.

Xác minh cài đặt

Xác minh việc cài đặt Apache Flume bằng cách duyệt qua bin và gõ lệnh sau.

$ ./flume-ng

Nếu bạn đã cài đặt thành công Flume, bạn sẽ nhận được lời nhắc trợ giúp của Flume như hình bên dưới.