เริ่มต้นคลัสเตอร์ Dataproc ไม่สำเร็จ

Question

ด้วยอิมเมจ dataproc มาตรฐาน 1.5 (Debian 10, Hadoop 2.10, Spark 2.4) จะไม่สามารถสร้างคลัสเตอร์ dataproc ได้ europe-west-2ภาคมีการตั้งค่า

บันทึกโปรแกรมควบคุมสแต็กกล่าวว่า:

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

การสแกนผ่านเอาต์พุต (gs: //.../dataproc-startup-script_output) ฉันเห็นว่าการเปิดใช้งาน hdfs ล้มเหลว:

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1

ฉันขาดอะไรไป?

แก้ไข

ตามที่ @Dagang แนะนำฉัน ssh-ed เข้าไปในโหนดหลักและเรียกgrep "activate-component-hdfs" /var/log/dataproc-startup-script.logใช้ เอาท์พุทเป็นที่นี่

Answer 1

ดังนั้นปัญหาคือมีชื่อผู้ใช้ที่เรียกว่า "pete {" ซึ่งhadoop fs -mkdir -pคำสั่งล้มเหลว ชื่อผู้ใช้ประเภทนี้ที่มีอักขระพิเศษโดยเฉพาะวงเล็บเปิด e, g, "() [] {}" อาจทำให้ขั้นตอนการเปิดใช้งาน HDFS ล้มเหลวในระหว่างการสร้างคลัสเตอร์

ดังนั้นวิธีแก้ปัญหาง่ายๆก็แค่ลบผู้ใช้ที่สร้างขึ้นโดยบังเอิญ