Dataproc 클러스터를 초기화하지 못함

Question

표준 dataproc 이미지 1.5 (Debian 10, Hadoop 2.10, Spark 2.4)를 사용하면 dataproc 클러스터를 만들 수 없습니다. 지역은로 설정됩니다 europe-west-2.

스택 드라이버 로그에 다음과 같이 표시됩니다.

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

출력 (gs : //.../dataproc-startup-script_output)을 살펴보면 hdfs 활성화가 실패했음을 알 수 있습니다.

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1

내가 무엇을 놓치고 있습니까?

편집하다

@Dagang이 제안했듯이 마스터 노드로 ssh-ed하고 grep "activate-component-hdfs" /var/log/dataproc-startup-script.log. 출력은 여기에 있습니다 .

Answer 1

따라서 문제는 hadoop fs -mkdir -p명령이 실패한 "pete {"라는 사용자 이름이 있다는 것입니다 . 특수 문자가있는 이러한 종류의 사용자 이름은 특히 여는 괄호 (예 : "() [] {}")가 클러스터 생성 중에 HDFS 활성화 단계에 실패 할 가능성이 있습니다.

따라서 쉬운 해결책은 실수로 생성 된 사용자를 제거하는 것입니다.