Como abrir a interface do usuário do Spark enquanto executa o código do pyspark no pycharm?

Aug 17 2020

Estou executando o programa pyspark em pycharm local na máquina do Windows 10. Desejo abrir a interface do usuário da web do Spark para monitorar o trabalho e entender as métricas mostradas na interface do usuário do Spark. Ao executar o mesmo código no jupyter, posso acessar a interface do usuário da web, mas quando executo o programa usando o pycharm, não vejo opção para acessar a interface do usuário da web do spark, até tentei url local: 4040 ou localhost: 4041 mas, isso não funcionou.

Respostas

2 Shu Aug 17 2020 at 19:42

Você pode configurar a porta que a ui pode acessar no sparksession .

Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()

Agora, uma vez que a sessão do Spark foi inicializada, podemos acessar o UI do Spark em http://localhost:4050/jobs/ until the pycharm job finished executing.

Caso a porta não seja capaz de acessar no momento, em seu log, o Spark imprime onde podemos acessar o Spark ui .

Sample log:

2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.