Apache Tajo - Tích hợp OpenStack Swift

Swift là một cửa hàng đối tượng / blob phân tán và nhất quán. Swift cung cấp phần mềm lưu trữ đám mây để bạn có thể lưu trữ và truy xuất nhiều dữ liệu với một API đơn giản. Tajo hỗ trợ tích hợp Swift.

Sau đây là các điều kiện tiên quyết của Tích hợp Swift:

  • Swift
  • Hadoop

Core-site.xml

Thêm các thay đổi sau vào tệp hadoop “core-site.xml” -

<property> 
   <name>fs.swift.impl</name> 
   <value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value> 
   <description>File system implementation for Swift</description> 
</property>  

<property> 
   <name>fs.swift.blocksize</name> 
   <value>131072</value> 
   <description>Split size in KB</description> 
</property>

Điều này sẽ được sử dụng để Hadoop truy cập các đối tượng Swift. Sau khi bạn thực hiện tất cả các thay đổi, hãy chuyển đến thư mục Tajo để đặt biến môi trường Swift.

conf / tajo-env.h

Mở tệp cấu hình Tajo và thêm thiết lập biến môi trường như sau:

$ vi conf/tajo-env.h  
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar

Bây giờ, Tajo sẽ có thể truy vấn dữ liệu bằng Swift.

Tạo bảng

Hãy tạo một bảng bên ngoài để truy cập các đối tượng Swift trong Tajo như sau:

default> create external table swift(num1 int, num2 text, num3 float) 
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

Sau khi bảng đã được tạo, bạn có thể chạy các truy vấn SQL.