Как открыть веб-интерфейс Spark при запуске кода pyspark в pycharm?

Aug 17 2020

Я запускаю программу pyspark в pycharm local на машине с Windows 10. Я хочу открыть интерфейс Spark Web, чтобы отслеживать работу и понимать показатели, отображаемые в пользовательском интерфейсе Spark Web. При запуске того же кода на jupyter я могу получить доступ к веб-интерфейсу, но когда я запускаю программу с использованием pycharm, я не вижу возможности доступа к веб-интерфейсу Spark, даже я пробовал url local: 4040 или localhost: 4041, но это не сработало.

Ответы

2 Shu Aug 17 2020 at 19:42

Вы можете настроить порт, к которому пользовательский интерфейс может получить доступ в Sparksession .

Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()

Теперь, когда сеанс spark инициализирован, мы можем получить доступ к интерфейсу искры в http://localhost:4050/jobs/ until the pycharm job finished executing.

В случае, если порт не может получить доступ в то время, тогда в вашем журнале появится искровая печать, где мы можем получить доступ к искровому пользовательскому интерфейсу .

Sample log:

2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.