Échec de l'initialisation du cluster Dataproc

Question

Avec l'image standard dataproc 1.5 (Debian 10, Hadoop 2.10, Spark 2.4), un cluster dataproc ne peut pas être créé. La région est définie sur europe-west-2.

Le journal du pilote de pile indique :

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

En parcourant la sortie (gs://.../dataproc-startup-script_output), je peux voir que l'activation hdfs a échoué :

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1

Qu'est-ce que je rate?

ÉDITER

Comme @Dagang l'a suggéré, je me suis connecté en ssh au nœud maître et j'ai exécuté grep "activate-component-hdfs" /var/log/dataproc-startup-script.log. La sortie est ici .

Answer 1

Le problème est donc qu'il existe un nom d'utilisateur appelé "pete{" sur lequel la hadoop fs -mkdir -pcommande a échoué. Ces types de noms d'utilisateur avec des caractères spéciaux, en particulier des parenthèses ouvertes, par exemple,"()[]{}" risquent d'échouer à l'étape d'activation HDFS lors de la création du cluster.

La solution la plus simple consiste donc simplement à supprimer ces utilisateurs créés accidentellement.