จะเปิด spark web ui ในขณะที่รันโค้ด pyspark ใน pycharm ได้อย่างไร?
ฉันใช้โปรแกรม pyspark ใน pycharm local บนเครื่อง windows 10 ฉันต้องการเปิดเว็บ ui spark เพื่อตรวจสอบงานและทำความเข้าใจเมตริกที่แสดงบนเว็บ ui spark ในขณะที่ใช้รหัสเดียวกันบน jupyter ฉันสามารถเข้าถึงเว็บ ui ได้ แต่เมื่อฉันรันโปรแกรมโดยใช้ pycharm ฉันไม่เห็นตัวเลือกในการเข้าถึง spark web ui แม้ว่าฉันจะลอง url local: 4040 หรือ localhost: 4041 แต่ก็ไม่ได้ผล
คำตอบ
คุณสามารถกำหนดค่าที่พอร์ตที่ UIสามารถเข้าถึงในsparksession
Example:
spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()
ตอนนี้เมื่อเริ่มต้นเซสชัน spark แล้วเราจะสามารถเข้าถึง spark ui in http://localhost:4050/jobs/
until the pycharm job finished executing
ได้
ในกรณีที่พอร์ตไม่สามารถเข้าถึงได้ในขณะนั้นใน log spark ของคุณจะพิมพ์ว่าเราสามารถเข้าถึงspark uiได้ที่ไหน
Sample log:
2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.