Dataproc kümesi başlatılamıyor

Question

Standart dataproc görüntüsü 1.5 (Debian 10, Hadoop 2.10, Spark 2.4) ile bir dataproc kümesi oluşturulamaz. Bölge olarak ayarlandı europe-west-2.

Yığın sürücü günlüğü şunu söylüyor:

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

Çıktı (gs: //.../dataproc-startup-script_output) üzerinden tararken hdfs etkinleştirmesinin başarısız olduğunu görebiliyorum:

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1

Neyi kaçırıyorum?

DÜZENLE

@Dagang'ın önerdiği gibi, ana düğüme ssh-edildim ve koştum grep "activate-component-hdfs" /var/log/dataproc-startup-script.log. Çıktı burada .

Answer 1

Yani sorun şu ki, hadoop fs -mkdir -pkomutun başarısız olduğu "pete {" adında bir kullanıcı adı var . Özel karakterli bu tür kullanıcı adları, özellikle açık parantez e, g, "() [] {}", küme oluşturma sırasında HDFS etkinleştirme adımında potansiyel olarak başarısız olacaktır.

Dolayısıyla, kolay çözüm, kazayla oluşturulan kullanıcıları kaldırmaktır.