Come installare una libreria su un cluster automatizzato di Databricks

Question

Sto eseguendo un lavoro su un cluster Databricks Automated, ma il lavoro continua a non riuscire perché necessita della seguente libreria:

com.microsoft.azure:azure-sqldb-spark:1.0.2

Tuttavia, il cluster deve essere in esecuzione per installare la libreria, ma il cluster non verrà mai eseguito perché non riesce ... tipo di situazione catch-22.

Pertanto, qualcuno può farmi sapere come installare una libreria su un cluster Databricks Automated

Come puoi vedere dall'immagine, non c'è una selezione per aggiungere alcuna libreria

Answer 1

I pacchetti / librerie possono essere caricati come dipendenza nelle impostazioni del lavoro.

Di seguito sono riportati i passaggi per caricare la dipendenza nei cluster automatizzati.

Passaggio 1: scarica la libreria dal repository maven.

Esempio: ho il com.microsoft.azure:azure-sqldb-spark:1.0.2file jar download ( ) dal repository di maven.

Passaggio 2: caricare la libreria nell'area di lavoro di Databricks.

Vai a Area di lavoro => Crea => Libreria => carica il file jar precedentemente scaricato => Fai clic su crea .

Ora hai il file jar nel tuo spazio di lavoro.

Passaggio 3: vai al lavoro creato e aggiungi la libreria come libreria dipendente per il lavoro.

Vai al lavoro creato => Fai clic su Biblioteche dipendenti: Aggiungi => Seleziona la libreria disponibile nell'area di lavoro => Fai clic su OK .