Apache Tajo - Intégration OpenStack Swift

Swift est un magasin d'objets / d'objets blob distribué et cohérent. Swift propose un logiciel de stockage dans le cloud afin que vous puissiez stocker et récupérer de nombreuses données avec une simple API. Tajo prend en charge l'intégration Swift.

Voici les conditions préalables à l'intégration Swift -

• Swift
• Hadoop

Core-site.xml

Ajoutez les modifications suivantes au fichier hadoop «core-site.xml» -

<property> 
   <name>fs.swift.impl</name> 
   <value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value> 
   <description>File system implementation for Swift</description> 
</property>  

<property> 
   <name>fs.swift.blocksize</name> 
   <value>131072</value> 
   <description>Split size in KB</description> 
</property>

Cela sera utilisé pour Hadoop pour accéder aux objets Swift. Après avoir effectué toutes les modifications, déplacez-vous vers le répertoire Tajo pour définir la variable d'environnement Swift.

conf / tajo-env.h

Ouvrez le fichier de configuration Tajo et ajoutez définir la variable d'environnement comme suit -

$ vi conf/tajo-env.h  
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar

Désormais, Tajo pourra interroger les données en utilisant Swift.

Créer une table

Créons une table externe pour accéder aux objets Swift dans Tajo comme suit -

default> create external table swift(num1 int, num2 text, num3 float) 
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

Une fois la table créée, vous pouvez exécuter les requêtes SQL.