Apache Tajo - Integrasi Swift OpenStack

Swift adalah penyimpanan objek / blob yang terdistribusi dan konsisten. Swift menawarkan perangkat lunak penyimpanan awan sehingga Anda dapat menyimpan dan mengambil banyak data dengan API sederhana. Tajo mendukung integrasi Swift.

Berikut ini adalah prasyarat Integrasi Swift -

  • Swift
  • Hadoop

Core-site.xml

Tambahkan perubahan berikut ke file hadoop "core-site.xml" -

<property> 
   <name>fs.swift.impl</name> 
   <value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value> 
   <description>File system implementation for Swift</description> 
</property>  

<property> 
   <name>fs.swift.blocksize</name> 
   <value>131072</value> 
   <description>Split size in KB</description> 
</property>

Ini akan digunakan untuk Hadoop untuk mengakses objek Swift. Setelah Anda membuat semua perubahan, pindah ke direktori Tajo untuk menyetel variabel lingkungan Swift.

conf / tajo-env.h

Buka file konfigurasi Tajo dan tambahkan setel variabel lingkungan sebagai berikut -

$ vi conf/tajo-env.h  
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar

Sekarang, Tajo akan dapat meminta data menggunakan Swift.

Buat tabel

Mari buat tabel eksternal untuk mengakses objek Swift di Tajo sebagai berikut -

default> create external table swift(num1 int, num2 text, num3 float) 
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

Setelah tabel dibuat, Anda dapat menjalankan kueri SQL.