Apache Tajo - Konfigurationseinstellungen
Die Konfiguration von Tajo basiert auf dem Konfigurationssystem von Hadoop. In diesem Kapitel werden die Tajo-Konfigurationseinstellungen ausführlich erläutert.
Grundeinstellungen
Tajo verwendet die folgenden zwei Konfigurationsdateien:
- catalog-site.xml - Konfiguration für den Katalogserver.
- tajo-site.xml - Konfiguration für andere Tajo-Module.
Konfiguration im verteilten Modus
Das Setup im verteilten Modus wird auf dem Hadoop Distributed File System (HDFS) ausgeführt. Befolgen Sie die Schritte zum Konfigurieren des Tajo-Setups für den verteilten Modus.
tajo-site.xml
Diese Datei ist verfügbar @ /path/to/tajo/confVerzeichnis und fungiert als Konfiguration für andere Tajo-Module. Wenden Sie die folgenden Änderungen an an, um in einem verteilten Modus auf Tajo zuzugreifen“tajo-site.xml”.
<property>
<name>tajo.rootdir</name>
<value>hdfs://hostname:port/tajo</value>
</property>
<property>
<name>tajo.master.umbilical-rpc.address</name>
<value>hostname:26001</value>
</property>
<property>
<name>tajo.master.client-rpc.address</name>
<value>hostname:26002</value>
</property>
<property>
<name>tajo.catalog.client-rpc.address</name>
<value>hostname:26005</value>
</property>
Hauptknotenkonfiguration
Tajo verwendet HDFS als primären Speichertyp. Die Konfiguration ist wie folgt und sollte hinzugefügt werden“tajo-site.xml”.
<property>
<name>tajo.rootdir</name>
<value>hdfs://namenode_hostname:port/path</value>
</property>
Katalogkonfiguration
Wenn Sie den Katalogdienst anpassen möchten, kopieren Sie $path/to/Tajo/conf/catalogsite.xml.template zu $path/to/Tajo/conf/catalog-site.xml und fügen Sie nach Bedarf eine der folgenden Konfigurationen hinzu.
Zum Beispiel, wenn Sie verwenden “Hive catalog store” Um auf Tajo zuzugreifen, sollte die Konfiguration wie folgt aussehen:
<property>
<name>tajo.catalog.store.class</name>
<value>org.apache.tajo.catalog.store.HCatalogStore</value>
</property>
Wenn Sie speichern müssen MySQL Katalog, dann wenden Sie die folgenden Änderungen an -
<property>
<name>tajo.catalog.store.class</name>
<value>org.apache.tajo.catalog.store.MySQLStore</value>
</property>
<property>
<name>tajo.catalog.jdbc.connection.id</name>
<value><mysql user name></value>
</property>
<property>
<name>tajo.catalog.jdbc.connection.password</name>
<value><mysql user password></value>
</property>
<property>
<name>tajo.catalog.jdbc.uri</name>
<value>jdbc:mysql://<mysql host name>:<mysql port>/<database name for tajo>
?createDatabaseIfNotExist = true</value>
</property>
Ebenso können Sie die anderen von Tajo unterstützten Kataloge in der Konfigurationsdatei registrieren.
Arbeiterkonfiguration
Standardmäßig speichert der TajoWorker temporäre Daten im lokalen Dateisystem. Es ist in der Datei "tajo-site.xml" wie folgt definiert:
<property>
<name>tajo.worker.tmpdir.locations</name>
<value>/disk1/tmpdir,/disk2/tmpdir,/disk3/tmpdir</value>
</property>
Wählen Sie die folgende Konfiguration aus, um die Kapazität zum Ausführen von Aufgaben für jede Worker-Ressource zu erhöhen:
<property>
<name>tajo.worker.resource.cpu-cores</name>
<value>12</value>
</property>
<property>
<name>tajo.task.resource.min.memory-mb</name>
<value>2000</value>
</property>
<property>
<name>tajo.worker.resource.disks</name>
<value>4</value>
</property>
Wählen Sie die folgende Konfiguration aus, damit der Tajo-Worker in einem dedizierten Modus ausgeführt wird:
<property>
<name>tajo.worker.resource.dedicated</name>
<value>true</value>
</property>