pycharm에서 pyspark 코드를 실행하는 동안 Spark 웹 UI를 여는 방법은 무엇입니까?
Windows 10 컴퓨터에서 pycharm 로컬에서 pyspark 프로그램을 실행하고 있습니다. 작업을 모니터링하고 Spark 웹 UI에 표시된 메트릭을 이해하기 위해 Spark 웹 UI를 열고 싶습니다. jupyter에서 동일한 코드를 실행하는 동안 웹 UI에 액세스 할 수 있지만 pycharm을 사용하여 프로그램을 실행할 때 스파크 웹 UI에 액세스하는 옵션이 표시되지 않습니다. 심지어 url local : 4040 또는 localhost : 4041을 시도했지만 작동하지 않았습니다.
답변
2 Shu
ui 가 sparksession 에서 액세스 할 수 있는 포트를 구성 할 수 있습니다 .
Example:
spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()
이제 스파크 세션이 초기화되면에서 스파크 UI에 액세스 할 수 있습니다 http://localhost:4050/jobs/
until the pycharm job finished executing
.
포트가 해당 시점에 액세스 할 수없는 경우 로그에서 spark는 어디에서 spark ui에 액세스 할 수 있습니까 ?
Sample log:
2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.