Impossibile inizializzare il cluster Dataproc
Con l'immagine dataproc standard 1.5 (Debian 10, Hadoop 2.10, Spark 2.4), non è possibile creare un cluster dataproc. La regione è impostata su europe-west-2.
Il registro del driver dello stack dice:
"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"
Scansionando l'output (gs://.../dataproc-startup-script_output), posso vedere che l'attivazione di hdfs non è riuscita:
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1
Cosa mi manca?
MODIFICARE
Come suggerito da @Dagang, sono entrato nel nodo master e ho eseguito grep "activate-component-hdfs" /var/log/dataproc-startup-script.log. L'output è qui .
Risposte
Quindi il problema è che c'è un nome utente chiamato "pete{" su cui il hadoop fs -mkdir -pcomando non è riuscito. Questo tipo di nomi utente con caratteri speciali, in particolare parentesi aperte, ad es.,"()[]{}", potrebbe potenzialmente non riuscire nella fase di attivazione di HDFS durante la creazione del cluster.
Quindi la soluzione semplice è solo rimuovere quegli utenti creati accidentalmente.