Apache Tajo - การตั้งค่าการกำหนดค่า

การกำหนดค่าของ Tajo ขึ้นอยู่กับระบบการกำหนดค่าของ Hadoop บทนี้จะอธิบายรายละเอียดการตั้งค่าคอนฟิกของ Tajo

การตั้งค่าพื้นฐาน

Tajo ใช้ไฟล์ config สองไฟล์ต่อไปนี้ -

• catalogue-site.xml - การกำหนดค่าสำหรับเซิร์ฟเวอร์แค็ตตาล็อก
• tajo-site.xml - การกำหนดค่าสำหรับโมดูล Tajo อื่น ๆ

การกำหนดค่าโหมดกระจาย

การตั้งค่าโหมดกระจายจะทำงานบน Hadoop Distributed File System (HDFS) มาทำตามขั้นตอนเพื่อกำหนดการตั้งค่าโหมดกระจาย Tajo

tajo-site.xml

ไฟล์นี้มีให้ @ /path/to/tajo/confไดเร็กทอรีและทำหน้าที่เป็นคอนฟิกูเรชันสำหรับโมดูล Tajo อื่น ๆ ในการเข้าถึง Tajo ในโหมดกระจายให้ใช้การเปลี่ยนแปลงต่อไปนี้กับ“tajo-site.xml”.

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://hostname:port/tajo</value> 
</property>
  
<property> 
   <name>tajo.master.umbilical-rpc.address</name> 
   <value>hostname:26001</value> 
</property> 
 
<property> 
   <name>tajo.master.client-rpc.address</name> 
   <value>hostname:26002</value> 
</property>
  
<property> 
   <name>tajo.catalog.client-rpc.address</name> 
   <value>hostname:26005</value> 
</property>

การกำหนดค่าโหนดหลัก

Tajo ใช้ HDFS เป็นประเภทจัดเก็บข้อมูลหลัก การกำหนดค่ามีดังนี้และควรเพิ่มเข้าไป“tajo-site.xml”.

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://namenode_hostname:port/path</value> 
</property>

การกำหนดค่าแค็ตตาล็อก

หากคุณต้องการปรับแต่งบริการแค็ตตาล็อกให้คัดลอก $path/to/Tajo/conf/catalogsite.xml.template ถึง $path/to/Tajo/conf/catalog-site.xml และเพิ่มการกำหนดค่าใด ๆ ต่อไปนี้ตามต้องการ

ตัวอย่างเช่นถ้าคุณใช้ “Hive catalog store” เพื่อเข้าถึง Tajo การกำหนดค่าควรเป็นดังนี้ -

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.HCatalogStore</value> 
</property>

หากต้องการจัดเก็บ MySQL แคตตาล็อกจากนั้นใช้การเปลี่ยนแปลงต่อไปนี้ -

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.MySQLStore</value> 
</property> 

<property> 
   <name>tajo.catalog.jdbc.connection.id</name> 
   <value><mysql user name></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.connection.password</name> 
   <value><mysql user password></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.uri</name> 
   <value>jdbc:mysql://<mysql host name>:<mysql port>/<database name for tajo>
      ?createDatabaseIfNotExist = true</value> 
</property>

ในทำนองเดียวกันคุณสามารถลงทะเบียนแค็ตตาล็อกอื่น ๆ ที่รองรับ Tajo ในไฟล์การกำหนดค่า

การกำหนดค่าผู้ปฏิบัติงาน

ตามค่าเริ่มต้น TajoWorker จะจัดเก็บข้อมูลชั่วคราวบนระบบไฟล์ภายในเครื่อง ถูกกำหนดไว้ในไฟล์“ tajo-site.xml” ดังนี้ -

<property> 
   <name>tajo.worker.tmpdir.locations</name> 
   <value>/disk1/tmpdir,/disk2/tmpdir,/disk3/tmpdir</value> 
</property>

ในการเพิ่มขีดความสามารถในการรันงานของทรัพยากรผู้ปฏิบัติงานแต่ละรายการให้เลือกการกำหนดค่าต่อไปนี้

<property> 
   <name>tajo.worker.resource.cpu-cores</name> 
   <value>12</value> 
</property>
 
<property> 
   <name>tajo.task.resource.min.memory-mb</name> 
   <value>2000</value> 
</property>
  
<property> 
   <name>tajo.worker.resource.disks</name> 
   <value>4</value> 
</property>

ในการทำให้ผู้ปฏิบัติงาน Tajo ทำงานในโหมดเฉพาะให้เลือกการกำหนดค่าต่อไปนี้ -

<property> 
   <name>tajo.worker.resource.dedicated</name> 
   <value>true</value> 
</property>