Cara menginstal perpustakaan di Kluster Otomatis Databricks

Question

Saya menjalankan Pekerjaan di klaster Databricks Automated, tetapi pekerjaan terus gagal karena membutuhkan pustaka berikut:

com.microsoft.azure:azure-sqldb-spark:1.0.2

Namun, Cluster harus berjalan untuk menginstal pustaka, tetapi cluster tidak akan pernah berjalan karena gagal ... situasi seperti catch-22.

Oleh karena itu, dapatkah seseorang memberi tahu saya cara menginstal perpustakaan di kluster Databricks Automated

Seperti yang Anda lihat dari gambar, tidak ada pilihan untuk menambahkan perpustakaan apa pun

Answer 1

Paket / pustaka dapat dimuat sebagai ketergantungan dalam pengaturan Pekerjaan.

Berikut langkah-langkah untuk memuat ketergantungan dalam kluster otomatis.

Langkah 1: Unduh pustaka dari repositori maven.

Contoh: Saya memiliki com.microsoft.azure:azure-sqldb-spark:1.0.2file jar download ( ) dari repositori maven.

Langkah2: Unggah perpustakaan ke ruang kerja Databricks.

Pergi ke Ruang Kerja => Buat => Perpustakaan => unggah file jar unduhan sebelumnya => Klik buat .

Sekarang Anda memiliki file jar di ruang kerja Anda.

Step3: Pergi ke pekerjaan yang dibuat menambahkan perpustakaan sebagai perpustakaan dependen untuk pekerjaan itu.

Pergi ke pekerjaan yang dibuat => Klik pada Perpustakaan Tergantung: Tambah => Pilih perpustakaan yang tersedia di ruang kerja => Klik OK .