El clúster de Dataproc no se puede inicializar
Con la imagen de procesamiento de datos estándar 1.5 (Debian 10, Hadoop 2.10, Spark 2.4), no se puede crear un clúster de procesamiento de datos. La región se establece en europe-west-2
.
El registro del controlador de pila dice:
"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"
Escaneando a través de la salida (gs://.../dataproc-startup-script_output), puedo ver que la activación de hdfs ha fallado:
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1
¿Qué me estoy perdiendo?
EDITAR
Como sugirió @Dagang, entré en el nodo maestro y ejecuté grep "activate-component-hdfs" /var/log/dataproc-startup-script.log
. La salida está aquí .
Respuestas
Entonces, el problema es que hay un nombre de usuario llamado "pete{" en el que hadoop fs -mkdir -p
falló el comando. Este tipo de nombres de usuario con caracteres especiales, especialmente paréntesis abiertos, por ejemplo, "()[]{}" potencialmente fallarán en el paso de activación de HDFS durante la creación del clúster.
Entonces, la solución fácil es simplemente eliminar esos usuarios creados accidentalmente.