Apache Tajo - Pengaturan Konfigurasi

Konfigurasi Tajo didasarkan pada sistem konfigurasi Hadoop. Bab ini menjelaskan pengaturan konfigurasi Tajo secara rinci.

Pengaturan dasar

Tajo menggunakan dua file konfigurasi berikut -

  • catalog-site.xml - konfigurasi untuk server katalog.
  • tajo-site.xml - konfigurasi untuk modul Tajo lainnya.

Konfigurasi Mode Terdistribusi

Setup mode terdistribusi berjalan di Hadoop Distributed File System (HDFS). Mari ikuti langkah-langkah untuk mengonfigurasi pengaturan mode terdistribusi Tajo.

tajo-site.xml

File ini tersedia @ /path/to/tajo/confdirektori dan bertindak sebagai konfigurasi untuk modul Tajo lainnya. Untuk mengakses Tajo dalam mode terdistribusi, terapkan perubahan berikut ke“tajo-site.xml”.

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://hostname:port/tajo</value> 
</property>
  
<property> 
   <name>tajo.master.umbilical-rpc.address</name> 
   <value>hostname:26001</value> 
</property> 
 
<property> 
   <name>tajo.master.client-rpc.address</name> 
   <value>hostname:26002</value> 
</property>
  
<property> 
   <name>tajo.catalog.client-rpc.address</name> 
   <value>hostname:26005</value> 
</property>

Konfigurasi Master Node

Tajo menggunakan HDFS sebagai jenis penyimpanan utama. Konfigurasinya adalah sebagai berikut dan harus ditambahkan ke“tajo-site.xml”.

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://namenode_hostname:port/path</value> 
</property>

Konfigurasi Katalog

Jika Anda ingin menyesuaikan layanan katalog, salin $path/to/Tajo/conf/catalogsite.xml.template untuk $path/to/Tajo/conf/catalog-site.xml dan tambahkan salah satu konfigurasi berikut sesuai kebutuhan.

Misalnya, jika Anda menggunakan “Hive catalog store” untuk mengakses Tajo, maka konfigurasinya harus seperti berikut -

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.HCatalogStore</value> 
</property>

Jika Anda perlu menyimpan MySQL katalog, lalu terapkan perubahan berikut -

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.MySQLStore</value> 
</property> 

<property> 
   <name>tajo.catalog.jdbc.connection.id</name> 
   <value><mysql user name></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.connection.password</name> 
   <value><mysql user password></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.uri</name> 
   <value>jdbc:mysql://<mysql host name>:<mysql port>/<database name for tajo>
      ?createDatabaseIfNotExist = true</value> 
</property>

Demikian pula, Anda dapat mendaftarkan katalog yang didukung Tajo lainnya di file konfigurasi.

Konfigurasi Pekerja

Secara default, TajoWorker menyimpan data sementara di sistem file lokal. Ini didefinisikan dalam file "tajo-site.xml" sebagai berikut -

<property> 
   <name>tajo.worker.tmpdir.locations</name> 
   <value>/disk1/tmpdir,/disk2/tmpdir,/disk3/tmpdir</value> 
</property>

Untuk meningkatkan kapasitas menjalankan tugas dari setiap resource pekerja, pilih konfigurasi berikut -

<property> 
   <name>tajo.worker.resource.cpu-cores</name> 
   <value>12</value> 
</property>
 
<property> 
   <name>tajo.task.resource.min.memory-mb</name> 
   <value>2000</value> 
</property>
  
<property> 
   <name>tajo.worker.resource.disks</name> 
   <value>4</value> 
</property>

Untuk membuat pekerja Tajo berjalan dalam mode khusus, pilih konfigurasi berikut -

<property> 
   <name>tajo.worker.resource.dedicated</name> 
   <value>true</value> 
</property>