डैटब्रिक्स डबल्स को NullPointerException फेंकते हैं

Oct 07 2020

डेटाबारिक डबल्स का उपयोग करके एज़्योर की वॉल्ट से गुप्त पढ़ने की कोशिश करना, लेकिन निम्नलिखित अपवाद का सामना करना पड़ रहा है:

    OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512m; support was removed in 8.0
Warning: Ignoring non-Spark config property: eventLog.rolloverIntervalSeconds
Exception in thread "main" java.lang.NullPointerException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at com.databricks.dbutils_v1.DBUtilsHolder$$anon$1.invoke(DBUtilsHolder.scala:17)

नीचे कोड स्निपेट है:

Object secret = DBUtilsHolder.dbutils().secrets().get("<scope>", "<key>");
System.out.println("secret " + secret.toString());

नीचे पोम है:

<dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.4.5</version>
      <scope>provided</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.11</artifactId>
      <version>2.4.5</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>io.airlift</groupId>
      <artifactId>airline</artifactId>
      <version>0.8</version>
    </dependency>
    <dependency>
      <groupId>org.projectlombok</groupId>
      <artifactId>lombok</artifactId>
      <version>1.18.12</version>
      <scope>provided</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/com.databricks/dbutils-api -->
    <dependency>
      <groupId>com.databricks</groupId>
      <artifactId>dbutils-api_2.11</artifactId>
      <version>0.0.4</version>
      <scope>provided</scope>
    </dependency>
<dependencies>

जब यह डाटब्रिक्स से स्पार्क-सबमिट जॉब के रूप में चला, तो असफल हो गया, लेकिन जब सेट जार विकल्प का उपयोग करने की कोशिश की गई तो यह काम कर गया।

जवाब

marat Oct 12 2020 at 03:30

प्रलेखन के अनुसार , डाटाब्रिक यूटिलिटीज स्पार्क-सबमिट नौकरियों के लिए उपलब्ध नहीं हैं। यदि आप डेटाब्रिक यूटिलिटीज का उपयोग करना चाहते हैं, तो इसके बजाय JAR नौकरियों का उपयोग करें।