Apache Tajo - Cài đặt cấu hình

Cấu hình của Tajo dựa trên hệ thống cấu hình của Hadoop. Chương này giải thích chi tiết về cài đặt cấu hình Tajo.

Cài đặt cơ bản

Tajo sử dụng hai tệp cấu hình sau:

  • catalog-site.xml - cấu hình cho máy chủ danh mục.
  • tajo-site.xml - cấu hình cho các mô-đun Tajo khác.

Cấu hình chế độ phân tán

Thiết lập chế độ phân tán chạy trên Hệ thống tệp phân tán Hadoop (HDFS). Hãy làm theo các bước để cấu hình thiết lập chế độ phân tán Tajo.

tajo-site.xml

Tệp này có sẵn @ /path/to/tajo/confthư mục và hoạt động như cấu hình cho các mô-đun Tajo khác. Để truy cập Tajo ở chế độ phân tán, hãy áp dụng các thay đổi sau đối với“tajo-site.xml”.

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://hostname:port/tajo</value> 
</property>
  
<property> 
   <name>tajo.master.umbilical-rpc.address</name> 
   <value>hostname:26001</value> 
</property> 
 
<property> 
   <name>tajo.master.client-rpc.address</name> 
   <value>hostname:26002</value> 
</property>
  
<property> 
   <name>tajo.catalog.client-rpc.address</name> 
   <value>hostname:26005</value> 
</property>

Cấu hình nút chính

Tajo sử dụng HDFS làm loại lưu trữ chính. Cấu hình như sau và sẽ được thêm vào“tajo-site.xml”.

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://namenode_hostname:port/path</value> 
</property>

Cấu hình danh mục

Nếu bạn muốn tùy chỉnh dịch vụ danh mục, hãy sao chép $path/to/Tajo/conf/catalogsite.xml.template đến $path/to/Tajo/conf/catalog-site.xml và thêm bất kỳ cấu hình nào sau đây nếu cần.

Ví dụ, nếu bạn sử dụng “Hive catalog store” để truy cập Tajo, thì cấu hình phải như sau:

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.HCatalogStore</value> 
</property>

Nếu bạn cần lưu trữ MySQL danh mục, sau đó áp dụng các thay đổi sau:

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.MySQLStore</value> 
</property> 

<property> 
   <name>tajo.catalog.jdbc.connection.id</name> 
   <value><mysql user name></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.connection.password</name> 
   <value><mysql user password></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.uri</name> 
   <value>jdbc:mysql://<mysql host name>:<mysql port>/<database name for tajo>
      ?createDatabaseIfNotExist = true</value> 
</property>

Tương tự, bạn có thể đăng ký các danh mục hỗ trợ Tajo khác trong tệp cấu hình.

Cấu hình công nhân

Theo mặc định, TajoWorker lưu trữ dữ liệu tạm thời trên hệ thống tệp cục bộ. Nó được định nghĩa trong tệp “tajo-site.xml” như sau:

<property> 
   <name>tajo.worker.tmpdir.locations</name> 
   <value>/disk1/tmpdir,/disk2/tmpdir,/disk3/tmpdir</value> 
</property>

Để tăng khả năng chạy các tác vụ của từng tài nguyên công nhân, hãy chọn cấu hình sau:

<property> 
   <name>tajo.worker.resource.cpu-cores</name> 
   <value>12</value> 
</property>
 
<property> 
   <name>tajo.task.resource.min.memory-mb</name> 
   <value>2000</value> 
</property>
  
<property> 
   <name>tajo.worker.resource.disks</name> 
   <value>4</value> 
</property>

Để làm cho Tajo worker chạy ở chế độ chuyên dụng, hãy chọn cấu hình sau:

<property> 
   <name>tajo.worker.resource.dedicated</name> 
   <value>true</value> 
</property>