Como abrir a interface do usuário do Spark enquanto executa o código do pyspark no pycharm?
Estou executando o programa pyspark em pycharm local na máquina do Windows 10. Desejo abrir a interface do usuário da web do Spark para monitorar o trabalho e entender as métricas mostradas na interface do usuário do Spark. Ao executar o mesmo código no jupyter, posso acessar a interface do usuário da web, mas quando executo o programa usando o pycharm, não vejo opção para acessar a interface do usuário da web do spark, até tentei url local: 4040 ou localhost: 4041 mas, isso não funcionou.
Respostas
Você pode configurar a porta que a ui pode acessar no sparksession .
Example:
spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()
Agora, uma vez que a sessão do Spark foi inicializada, podemos acessar o UI do Spark em http://localhost:4050/jobs/
until the pycharm job finished executing
.
Caso a porta não seja capaz de acessar no momento, em seu log, o Spark imprime onde podemos acessar o Spark ui .
Sample log:
2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.