¿Cómo abrir la interfaz de usuario web de Spark mientras se ejecuta el código pyspark en pycharm?

Aug 17 2020

Estoy ejecutando el programa pyspark en pycharm local en una máquina con Windows 10. Quiero abrir la interfaz de usuario web de Spark para supervisar el trabajo y comprender las métricas que se muestran en la interfaz de usuario de Spark. Mientras ejecuto el mismo código en jupyter, puedo acceder a la interfaz de usuario web, pero cuando ejecuto el programa usando pycharm no veo la opción para acceder a la interfaz de usuario web de Spark, incluso probé la URL local: 4040 o localhost: 4041, pero esto no funcionó.

Respuestas

2 Shu Aug 17 2020 at 19:42

Puede configurar a qué puerto puede acceder la interfaz de usuario en sparksession .

Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()

Ahora, una vez que se haya inicializado la sesión de Spark, podemos acceder a la interfaz de usuario de Spark http://localhost:4050/jobs/ until the pycharm job finished executing.

En caso de que el puerto no pueda acceder en ese momento, en su registro, Spark imprime dónde podemos acceder a la interfaz de usuario de Spark .

Sample log:

2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.