Pycharm में pyspark कोड चलाते समय स्पार्क वेब ui कैसे खोलें?

Question

मैं विंडोज़ 10 मशीन पर pycharm स्थानीय में pyspark कार्यक्रम चला रहा हूं। मैं नौकरी की निगरानी के लिए स्पार्क वेब यूआई खोलना चाहता हूं और समझ में आता है कि मेट्रिक्स स्पार्क वेब यूआई पर दिखाई गई है। ज्यूपिटर पर एक ही कोड चलाते समय मैं वेब यूआई एक्सेस कर सकता हूं लेकिन जब मैं pycharm का उपयोग करके प्रोग्राम चलाता हूं तो मुझे स्पार्क वेब यूआई एक्सेस करने का विकल्प नहीं दिखता है, यहां तक ​​कि मैंने यूआरएल लोकल: 4040 या लोकलहोस्ट: 4041 की कोशिश की, लेकिन, यह काम नहीं किया।

Answer 1

आप कॉन्फ़िगर कर सकते हैं कि किस पोर्ट पर ui स्पार्क्सशन में पहुंच सकता है ।

Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()

अब एक बार स्पार्क सत्र आरम्भ हो गया तो हम स्पार्क यूआई में प्रवेश कर सकते हैं http://localhost:4050/jobs/ until the pycharm job finished executing।

मामले में अगर बंदरगाह समय पर नहीं पहुंच पा रहा है तो अपने लॉग स्पार्क प्रिंट में जहां हम स्पार्क यूआई का उपयोग कर सकते हैं ।

Sample log:

2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.