Как установить библиотеку в автоматизированный кластер Databricks
Я выполняю задание в автоматизированном кластере Databricks, но задание продолжает давать сбой, потому что ему нужна следующая библиотека:
com.microsoft.azure:azure-sqldb-spark:1.0.2
Однако кластер должен быть запущен, чтобы установить библиотеку, но кластер никогда не запустится из-за сбоя ... своего рода ловушка-22.
Поэтому может ли кто-нибудь сообщить мне, как установить библиотеку в автоматизированном кластере Databricks?
Как видно из изображения, здесь нет выбора для добавления какой-либо библиотеки.
Ответы
Пакеты / библиотеки могут быть загружены в зависимости от настроек задания.
Вот шаги, чтобы загрузить зависимость в автоматизированных кластерах.
Шаг 1. Загрузите библиотеку из репозитория maven.
Пример: у меня есть файл com.microsoft.azure:azure-sqldb-spark:1.0.2jar download ( ) из репозитория maven.
Шаг 2. Загрузите библиотеку в рабочую область Databricks.
Перейдите в Рабочее пространство => Создать => Библиотека => загрузите ранее загруженный файл jar => Нажмите « Создать» .
Теперь у вас есть файл jar в вашем рабочем пространстве.
Шаг 3: перейдите к созданному заданию и добавьте библиотеку в качестве зависимой библиотеки для задания.
Перейдите к созданному заданию => Нажмите «Зависимые библиотеки»: «Добавить» => выберите библиотеку, которая доступна в рабочей области => Нажмите « ОК» .
