Bagaimana cara membuka spark web ui saat menjalankan kode pyspark di pycharm?

Question

Saya menjalankan program pyspark di pycharm local di mesin windows 10. Saya ingin membuka spark web ui untuk memantau pekerjaan dan memahami metrik yang ditampilkan melalui web ui spark. Saat menjalankan kode yang sama di jupyter saya dapat mengakses web ui tetapi ketika saya menjalankan program menggunakan pycharm saya tidak melihat opsi untuk mengakses spark web ui, bahkan saya mencoba url local: 4040 atau localhost: 4041 tetapi, ini tidak berhasil.

Answer 1

Anda dapat mengonfigurasi port mana yang dapat diakses ui di sparksession .

Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()

Sekarang setelah sesi spark diinisialisasi maka kita dapat mengakses spark ui in http://localhost:4050/jobs/ until the pycharm job finished executing.

Dalam kasus jika port tidak dapat mengakses pada saat itu maka di log percikan cetakan Anda di mana kita dapat mengakses ui percikan .

Sample log:

2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.