Falha ao inicializar o cluster do Dataproc

Question

Com a imagem dataproc padrão 1.5 (Debian 10, Hadoop 2.10, Spark 2.4), um cluster dataproc não pode ser criado. A região está definida como europe-west-2.

O log do driver de pilha diz:

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

Analisando a saída (gs://.../dataproc-startup-script_output), vejo que a ativação do hdfs falhou:

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1

o que estou perdendo?

EDITAR

Como @Dagang sugeriu, eu ssh-ed no nó mestre e executei grep "activate-component-hdfs" /var/log/dataproc-startup-script.log. A saída está aqui .

Answer 1

Portanto, o problema é que existe um nome de usuário chamado "pete{" no qual o hadoop fs -mkdir -pcomando falhou. Esse tipo de nome de usuário com caracteres especiais, especialmente parênteses abertos, por exemplo, "()[]{}" provavelmente falhará na etapa de ativação do HDFS durante a criação do cluster.

Portanto, a solução fácil é apenas remover os usuários criados acidentalmente.