Comment ouvrir l'interface utilisateur Web Spark lors de l'exécution de code pyspark dans pycharm?
J'exécute le programme pyspark dans pycharm local sur une machine Windows 10. Je souhaite ouvrir l'interface utilisateur Web Spark pour surveiller le travail et comprendre les métriques affichées sur l'interface utilisateur Web Spark. Tout en exécutant le même code sur jupyter, je peux accéder à l'interface utilisateur Web, mais lorsque j'exécute le programme en utilisant pycharm, je ne vois pas d'option pour accéder à l'interface utilisateur Web Spark, même j'ai essayé l'url local: 4040 ou localhost: 4041 mais cela n'a pas fonctionné.
Réponses
Vous pouvez configurer le port auquel l' interface utilisateur peut accéder dans sparksession .
Example:
spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()
Maintenant, une fois la session Spark initialisée, nous pouvons accéder à l'interface utilisateur Spark http://localhost:4050/jobs/
until the pycharm job finished executing
.
Si le port n'est pas en mesure d'accéder à ce moment-là, dans votre journal, Spark imprime où pouvons-nous accéder à l' interface utilisateur Spark .
Sample log:
2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.