Кластер Dataproc не инициализируется

Question

Со стандартным образом dataproc 1.5 (Debian 10, Hadoop 2.10, Spark 2.4) нельзя создать кластер dataproc. Регион установлен на europe-west-2.

Журнал драйвера стека говорит:

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

Просматривая вывод (gs: //.../dataproc-startup-script_output), я вижу, что активация hdfs не удалась:

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1

Что мне не хватает?

РЕДАКТИРОВАТЬ

Как предложил @Dagang, я подключился к главному узлу по ssh и запустил grep "activate-component-hdfs" /var/log/dataproc-startup-script.log. Результат здесь .

Answer 1

Итак, проблема в том, что существует имя пользователя с именем "pete {", на котором hadoop fs -mkdir -pкоманда не удалась. Такие имена пользователей со специальными символами, особенно открытыми круглыми скобками e, g, "() [] {}", потенциально могут привести к сбою этапа активации HDFS во время создания кластера.

Таким образом, простое решение - просто удалить случайно созданного пользователя.