จะเปิด spark web ui ในขณะที่รันโค้ด pyspark ใน pycharm ได้อย่างไร?

Aug 17 2020

ฉันใช้โปรแกรม pyspark ใน pycharm local บนเครื่อง windows 10 ฉันต้องการเปิดเว็บ ui spark เพื่อตรวจสอบงานและทำความเข้าใจเมตริกที่แสดงบนเว็บ ui spark ในขณะที่ใช้รหัสเดียวกันบน jupyter ฉันสามารถเข้าถึงเว็บ ui ได้ แต่เมื่อฉันรันโปรแกรมโดยใช้ pycharm ฉันไม่เห็นตัวเลือกในการเข้าถึง spark web ui แม้ว่าฉันจะลอง url local: 4040 หรือ localhost: 4041 แต่ก็ไม่ได้ผล

คำตอบ

2 Shu Aug 17 2020 at 19:42

คุณสามารถกำหนดค่าที่พอร์ตที่ UIสามารถเข้าถึงในsparksession

Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()

ตอนนี้เมื่อเริ่มต้นเซสชัน spark แล้วเราจะสามารถเข้าถึง spark ui in http://localhost:4050/jobs/ until the pycharm job finished executingได้

ในกรณีที่พอร์ตไม่สามารถเข้าถึงได้ในขณะนั้นใน log spark ของคุณจะพิมพ์ว่าเราสามารถเข้าถึงspark uiได้ที่ไหน

Sample log:

2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.