Apache Flume - Giới thiệu
Flume là gì?
Apache Flume là một công cụ / dịch vụ / cơ chế nhập dữ liệu để thu thập tổng hợp và vận chuyển một lượng lớn dữ liệu phát trực tuyến như tệp nhật ký, sự kiện (v.v.) từ nhiều nguồn khác nhau đến một kho dữ liệu tập trung.
Flume là một công cụ có độ tin cậy cao, phân tán và có thể định cấu hình. Nó được thiết kế chủ yếu để sao chép dữ liệu trực tuyến (dữ liệu nhật ký) từ các máy chủ web khác nhau sang HDFS.
Các ứng dụng của Flume
Giả sử một ứng dụng web thương mại điện tử muốn phân tích hành vi của khách hàng từ một khu vực cụ thể. Để làm như vậy, họ cần chuyển dữ liệu nhật ký có sẵn vào Hadoop để phân tích. Tại đây, Apache Flume đến giải cứu chúng ta.
Flume được sử dụng để di chuyển dữ liệu nhật ký được tạo bởi các máy chủ ứng dụng sang HDFS với tốc độ cao hơn.
Ưu điểm của Flume
Dưới đây là những lợi thế của việc sử dụng Flume -
Sử dụng Apache Flume, chúng tôi có thể lưu trữ dữ liệu vào bất kỳ cửa hàng tập trung nào (HBase, HDFS).
Khi tốc độ dữ liệu đến vượt quá tốc độ dữ liệu có thể được ghi tới đích, Flume đóng vai trò trung gian giữa nhà sản xuất dữ liệu và các cửa hàng tập trung và cung cấp luồng dữ liệu ổn định giữa chúng.
Flume cung cấp tính năng của contextual routing.
Các giao dịch trong Flume dựa trên kênh trong đó hai giao dịch (một người gửi và một người nhận) được duy trì cho mỗi tin nhắn. Nó đảm bảo cung cấp thông điệp đáng tin cậy.
Flume đáng tin cậy, có khả năng chịu lỗi, có thể mở rộng, có thể quản lý và có thể tùy chỉnh.
Đặc điểm của Flume
Một số tính năng đáng chú ý của Flume như sau:
Flume nhập dữ liệu nhật ký từ nhiều máy chủ web vào một cửa hàng tập trung (HDFS, HBase) một cách hiệu quả.
Sử dụng Flume, chúng ta có thể lấy dữ liệu từ nhiều máy chủ ngay lập tức vào Hadoop.
Cùng với các tệp nhật ký, Flume cũng được sử dụng để nhập khối lượng lớn dữ liệu sự kiện do các trang mạng xã hội như Facebook và Twitter, và các trang web thương mại điện tử như Amazon và Flipkart tạo ra.
Flume hỗ trợ một tập hợp lớn các loại nguồn và đích.
Flume hỗ trợ luồng đa bước nhảy, luồng quạt vào quạt ra, định tuyến theo ngữ cảnh, v.v.
Flume có thể được thu nhỏ theo chiều ngang.