Apache Tajo - Integrasi Swift OpenStack
Swift adalah penyimpanan objek / blob yang terdistribusi dan konsisten. Swift menawarkan perangkat lunak penyimpanan awan sehingga Anda dapat menyimpan dan mengambil banyak data dengan API sederhana. Tajo mendukung integrasi Swift.
Berikut ini adalah prasyarat Integrasi Swift -
- Swift
- Hadoop
Core-site.xml
Tambahkan perubahan berikut ke file hadoop "core-site.xml" -
<property>
<name>fs.swift.impl</name>
<value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value>
<description>File system implementation for Swift</description>
</property>
<property>
<name>fs.swift.blocksize</name>
<value>131072</value>
<description>Split size in KB</description>
</property>
Ini akan digunakan untuk Hadoop untuk mengakses objek Swift. Setelah Anda membuat semua perubahan, pindah ke direktori Tajo untuk menyetel variabel lingkungan Swift.
conf / tajo-env.h
Buka file konfigurasi Tajo dan tambahkan setel variabel lingkungan sebagai berikut -
$ vi conf/tajo-env.h
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar
Sekarang, Tajo akan dapat meminta data menggunakan Swift.
Buat tabel
Mari buat tabel eksternal untuk mengakses objek Swift di Tajo sebagai berikut -
default> create external table swift(num1 int, num2 text, num3 float)
using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';
Setelah tabel dibuat, Anda dapat menjalankan kueri SQL.