Databricks自動クラスターにライブラリをインストールする方法

Aug 20 2020

Databricks Automatedクラスターでジョブを実行していますが、次のライブラリが必要なため、ジョブが失敗し続けます。

com.microsoft.azure:azure-sqldb-spark:1.0.2

ただし、ライブラリをインストールするには、クラスターを実行する必要がありますが、失敗するため、クラスターは実行されません...一種のキャッチ22状況。

したがって、誰かがDatabricksAutomatedクラスターにライブラリをインストールする方法を教えてもらえますか

画像からわかるように、ライブラリを追加するための選択はありません

回答

2 CHEEKATLAPRADEEP-MSFT Aug 21 2020 at 11:44

パッケージ/ライブラリは、ジョブ設定の依存関係としてロードできます。

自動化されたクラスターに依存関係をロードする手順は次のとおりです。

ステップ1: Mavenリポジトリからライブラリをダウンロードします。

例:com.microsoft.azure:azure-sqldb-spark:1.0.2 Mavenリポジトリから()jarファイルをダウンロードしました。

ステップ2:ライブラリをDatabricksワークスペースにアップロードします。

移動し、ワークスペース=>作成=>ライブラリ=>アップロード以前にダウンロードしたjarファイルを=>をクリックして作成します

これで、ワークスペースにjarファイルができました。

ステップ3:作成したジョブに移動し、ライブラリをジョブの依存ライブラリとして追加します。

作成されたジョブに移動します=>依存ライブラリをクリックします:追加=>ワークスペースで使用可能なライブラリ選択します=> [ OK]をクリックします。