Pycharm'da pyspark kodunu çalıştırırken spark web kullanıcı arabirimi nasıl açılır?

Aug 17 2020

Windows 10 makinesinde pycharm local'de pyspark programını çalıştırıyorum. İşi izlemek ve spark web kullanıcı arayüzü üzerinden gösterilen ölçümleri anlamak için spark web kullanıcı arayüzünü açmak istiyorum. Aynı kodu jupyter üzerinde çalıştırırken web kullanıcı arayüzüne erişebiliyorum ancak programı pycharm kullanarak çalıştırdığımda spark web kullanıcı arayüzüne erişim seçeneğini görmüyorum, hatta url local: 4040 veya localhost: 4041 denedim ama bu işe yaramadı.

Yanıtlar

2 Shu Aug 17 2020 at 19:42

Kullanıcı arabiriminin kıvılcım sırasında erişebileceği bağlantı noktasını yapılandırabilirsiniz .

Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()

Şimdi, kıvılcım oturumu başlatıldığında, kıvılcım kullanıcı arayüzüne erişebiliriz http://localhost:4050/jobs/ until the pycharm job finished executing.

Durumda liman biz erişebilir yapar sizin günlük kıvılcım baskılar sonra zaman erişebileceğini değilse kıvılcım ui .

Sample log:

2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.