El clúster de Dataproc no se puede inicializar

Aug 18 2020

Con la imagen de procesamiento de datos estándar 1.5 (Debian 10, Hadoop 2.10, Spark 2.4), no se puede crear un clúster de procesamiento de datos. La región se establece en europe-west-2.

El registro del controlador de pila dice:

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

Escaneando a través de la salida (gs://.../dataproc-startup-script_output), puedo ver que la activación de hdfs ha fallado:

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1

¿Qué me estoy perdiendo?

EDITAR

Como sugirió @Dagang, entré en el nodo maestro y ejecuté grep "activate-component-hdfs" /var/log/dataproc-startup-script.log. La salida está aquí .

Respuestas

3 HenryGong Aug 21 2020 at 04:42

Entonces, el problema es que hay un nombre de usuario llamado "pete{" en el que hadoop fs -mkdir -pfalló el comando. Este tipo de nombres de usuario con caracteres especiales, especialmente paréntesis abiertos, por ejemplo, "()[]{}" potencialmente fallarán en el paso de activación de HDFS durante la creación del clúster.

Entonces, la solución fácil es simplemente eliminar esos usuarios creados accidentalmente.