Таленд - Улей
В этой главе давайте разберемся, как работать с Hive job в Talend.
Создание задания улья таленд
В качестве примера мы загрузим данные NYSE в таблицу куста и выполним базовый запрос куста. Щелкните правой кнопкой мыши на Job Design и создайте новую работу - hivejob. Укажите детали работы и нажмите Готово.
Добавление компонентов в работу Hive
Чтобы добавить компоненты в задание Hive, перетащите пять компонентов talend - tHiveConnection, tHiveCreateTable, tHiveLoad, tHiveInput и tLogRow из поддона в окно конструктора. Затем щелкните правой кнопкой мыши tHiveConnection и создайте триггер OnSubjobOk для tHiveCreateTable. Теперь щелкните правой кнопкой мыши tHiveCreateTable и создайте триггер OnSubjobOk для tHiveLoad. Щелкните правой кнопкой мыши tHiveLoad и создайте триггер итерации на tHiveInput. Наконец, щелкните правой кнопкой мыши tHiveInput и создайте основную строку для tLogRow.
Настройка компонентов и преобразований
В tHiveConnection выберите дистрибутив cloudera и его версию, которую вы используете. Обратите внимание, что режим подключения будет автономным, а Hive Service будет Hive 2. Также проверьте, установлены ли соответственно следующие параметры:
- Хост: «quickstart.cloudera»
- Порт: «10000»
- База данных: «по умолчанию»
- Имя пользователя: «улей»
Обратите внимание, что пароль будет заполнен автоматически, вам не нужно его редактировать. Также будут предварительно установлены и установлены другие свойства Hadoop по умолчанию.
В tHiveCreateTable выберите Использовать существующее соединение и поместите tHiveConnection в список компонентов. Дайте имя таблицы, которую вы хотите создать в базе данных по умолчанию. Остальные параметры оставьте, как показано ниже.
В tHiveLoad выберите «Использовать существующее соединение» и поместите tHiveConnection в список компонентов. Выберите LOAD в действии Load. В поле «Путь к файлу» укажите путь HDFS к входному файлу NYSE. Упомяните таблицу в названии таблицы, в которую вы хотите загрузить ввод. Остальные параметры оставьте, как показано ниже.
В tHiveInput выберите Использовать существующее соединение и поместите tHiveConnection в список компонентов. Щелкните изменить схему, добавьте столбцы и их тип, как показано на снимке схемы ниже. Теперь дайте имя таблицы, которую вы создали в tHiveCreateTable.
Поместите свой запрос в параметр запроса, который вы хотите запустить в таблице Hive. Здесь мы печатаем все столбцы первых 10 строк в таблице тестового куста.
В tLogRow щелкните столбцы синхронизации и выберите режим таблицы для отображения вывода.
Выполнение работы Hive
Нажмите «Выполнить», чтобы начать выполнение. Если все соединения и параметры были установлены правильно, вы увидите результат своего запроса, как показано ниже.
