Come aprire l'interfaccia utente web spark durante l'esecuzione del codice pyspark in pycharm?
Sto eseguendo il programma pyspark in pycharm local su una macchina Windows 10. Desidero aprire l'interfaccia utente Web Spark per monitorare il lavoro e comprendere le metriche visualizzate nell'interfaccia utente Web Spark. Mentre eseguo lo stesso codice su jupyter posso accedere all'interfaccia utente web ma quando eseguo il programma usando pycharm non vedo l'opzione per accedere all'interfaccia utente web spark, anche se ho provato url local: 4040 o localhost: 4041 ma non ha funzionato.
Risposte
È possibile configurare la porta a cui l' interfaccia utente può accedere in sparksession .
Example:
spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()
Ora, una volta inizializzata la sessione Spark, possiamo accedere a Spark ui in http://localhost:4050/jobs/
until the pycharm job finished executing
.
Nel caso in cui la porta non sia in grado di accedere in quel momento, nel tuo log viene stampato spark dove possiamo accedere all'interfaccia utente di spark .
Sample log:
2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.