Databricks 자동화 클러스터에 라이브러리를 설치하는 방법

Question

Databricks Automated 클러스터에서 작업을 실행하고 있지만 다음 라이브러리가 필요하기 때문에 작업이 계속 실패합니다.

com.microsoft.azure:azure-sqldb-spark:1.0.2

그러나 라이브러리를 설치하려면 클러스터를 실행해야하지만 클러스터는 실패하기 때문에 실행되지 않습니다. 일종의 catch-22 상황입니다.

따라서 누군가 Databricks Automated 클러스터에 라이브러리를 설치하는 방법을 알려줄 수 있습니까?

이미지에서 볼 수 있듯이 라이브러리를 추가 할 선택 사항이 없습니다.

Answer 1

작업 설정에서 패키지 / 라이브러리를 종속성으로로드 할 수 있습니다.

다음은 자동화 된 클러스터에서 종속성을로드하는 단계입니다.

1 단계 : Maven 저장소에서 라이브러리를 다운로드합니다.

예 :com.microsoft.azure:azure-sqldb-spark:1.0.2 maven 저장소에서 다운로드 ( ) jar 파일이 있습니다.

2 단계 : 라이브러리를 Databricks 작업 영역에 업로드합니다.

이동 작업 영역 => 만들기 => 라이브러리 => 업로드 이전에 다운로드 jar 파일을 => 클릭하여 작성 .

이제 작업 공간에 jar 파일이 있습니다.

3 단계 : 생성 된 작업으로 이동하여 라이브러리를 작업에 대한 종속 라이브러리로 추가합니다.

생성 된 작업으로 이동 => 종속 라이브러리 클릭 : 추가 => 작업 공간에서 사용 가능한 라이브러리 선택 => 확인 클릭 .