Senden eines Flink-Jobs bei YARN-Problem

Question

Ich möchte meinen Flink-Job auf YARN mit folgendem Befehl einreichen:

./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar

aber ich sah mich diesem Fehler gegenüber:

is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.

Answer 1

Dies wird durch die Variable yarn.nodemanager.vmem-pmem-ratio verursacht, die standardmäßig auf 2.1 festgelegt ist. In diesem Befehl beträgt dieses Verhältnis 4096/1024 = 4

Sie haben drei Möglichkeiten:

1 - Wenn Sie Zugriff auf die YARN-Konfiguration haben, können Sie yarn.nodemanager.vmem-check-enabled is yarn-site.xml auf false setzen.

2 - Eine andere Möglichkeit, wenn Sie Zugriff auf die Konfiguration haben, besteht darin, den Verhältniswert von 2,1 auf 5 zu ändern, z

3 - Wenn Sie keinen Zugriff haben, können Sie die YARN-Konfigurationen ändern. Sie können die ytm- und yjm-Werte ändern, um die Verhältnisbedingung zu erfüllen, zum Beispiel: -yjm 4096 -ytm 4096.