วิธีการติดตั้งไลบรารีบน Databricks Automated Cluster
ฉันกำลังเรียกใช้งานบนคลัสเตอร์ Databricks Automated แต่งานยังคงล้มเหลวเนื่องจากต้องการไลบรารีต่อไปนี้:
com.microsoft.azure:azure-sqldb-spark:1.0.2
อย่างไรก็ตามคลัสเตอร์ต้องทำงานเพื่อติดตั้งไลบรารี แต่คลัสเตอร์จะไม่ทำงานเพราะล้มเหลว ... สถานการณ์ catch-22
ดังนั้นใครสักคนสามารถแจ้งวิธีการติดตั้งไลบรารีบนคลัสเตอร์ Databricks Automated ได้

ดังที่คุณเห็นจากภาพไม่มีตัวเลือกให้เพิ่มไลบรารีใด ๆ
คำตอบ
สามารถโหลดแพ็กเกจ / ไลบรารีเป็นการอ้างอิงในการตั้งค่างาน
ต่อไปนี้คือขั้นตอนในการโหลดการพึ่งพาในคลัสเตอร์อัตโนมัติ
ขั้นตอนที่ 1:ดาวน์โหลดไลบรารีจากที่เก็บ maven
ตัวอย่าง:ฉันมีcom.microsoft.azure:azure-sqldb-spark:1.0.2
ไฟล์ jar download ( ) จากที่เก็บ maven

ขั้นตอนที่ 2:อัปโหลดไลบรารีไปยังพื้นที่ทำงาน Databricks
ไปยังพื้นที่ทำงาน => สร้าง => ห้องสมุด => อัปโหลดก่อนหน้านี้ดาวน์โหลดไฟล์ไห => คลิกสร้าง
ตอนนี้คุณมีไฟล์ jar ในพื้นที่ทำงานของคุณ

ขั้นตอนที่ 3:ไปที่งานที่สร้างขึ้นเพิ่มไลบรารีเป็นไลบรารีที่ขึ้นกับงาน
ไปที่งานสร้าง => คลิกที่ขึ้นอยู่กับห้องสมุด: เพิ่ม => เลือกห้องสมุดที่มีอยู่ในพื้นที่ทำงาน => คลิกOK
