วิธีการติดตั้งไลบรารีบน Databricks Automated Cluster

Aug 20 2020

ฉันกำลังเรียกใช้งานบนคลัสเตอร์ Databricks Automated แต่งานยังคงล้มเหลวเนื่องจากต้องการไลบรารีต่อไปนี้:

com.microsoft.azure:azure-sqldb-spark:1.0.2

อย่างไรก็ตามคลัสเตอร์ต้องทำงานเพื่อติดตั้งไลบรารี แต่คลัสเตอร์จะไม่ทำงานเพราะล้มเหลว ... สถานการณ์ catch-22

ดังนั้นใครสักคนสามารถแจ้งวิธีการติดตั้งไลบรารีบนคลัสเตอร์ Databricks Automated ได้

ดังที่คุณเห็นจากภาพไม่มีตัวเลือกให้เพิ่มไลบรารีใด ๆ

คำตอบ

2 CHEEKATLAPRADEEP-MSFT Aug 21 2020 at 11:44

สามารถโหลดแพ็กเกจ / ไลบรารีเป็นการอ้างอิงในการตั้งค่างาน

ต่อไปนี้คือขั้นตอนในการโหลดการพึ่งพาในคลัสเตอร์อัตโนมัติ

ขั้นตอนที่ 1:ดาวน์โหลดไลบรารีจากที่เก็บ maven

ตัวอย่าง:ฉันมีcom.microsoft.azure:azure-sqldb-spark:1.0.2ไฟล์ jar download ( ) จากที่เก็บ maven

ขั้นตอนที่ 2:อัปโหลดไลบรารีไปยังพื้นที่ทำงาน Databricks

ไปยังพื้นที่ทำงาน => สร้าง => ห้องสมุด => อัปโหลดก่อนหน้านี้ดาวน์โหลดไฟล์ไห => คลิกสร้าง

ตอนนี้คุณมีไฟล์ jar ในพื้นที่ทำงานของคุณ

ขั้นตอนที่ 3:ไปที่งานที่สร้างขึ้นเพิ่มไลบรารีเป็นไลบรารีที่ขึ้นกับงาน

ไปที่งานสร้าง => คลิกที่ขึ้นอยู่กับห้องสมุด: เพิ่ม => เลือกห้องสมุดที่มีอยู่ในพื้นที่ทำงาน => คลิกOK