flinkタスクマネージャーとタスクスロットのコア割り当てについて
Aug 23 2020
次のコマンドを使用して、フリンクヤーンセッションを開始します。
yarn-session.sh -jm 4096 -tm 4096 -n 4 -s 2
上記のコマンドでは、4つのタスクマネージャーが開始され(すべてのタスクマネージャーがヤーンコンテナーであるため、4つのヤーンコンテナーが開始されることも意味します)、各タスクマネージャーに2つのスロットがあります。
1つのタスクマネージャーがヤーンコンテナーであるため、つまり、各タスクマネージャーに1つのコアのみが割り当てられますが、各タスクマネージャーに2つのスロットを指定しました。つまり、2つのスロットは1つのコアのみを共有しますか?
各スロットは少なくとも1つのコアを占める必要があると思いましたか?
正しく理解したか、何かを見逃したかわかりません。
回答
1 DavidAnderson Aug 23 2020 at 16:30
「スロットごとに1つのコア」がデフォルトの開始点として提案されていますが、これをルールと見なすべきではありません。あなたは好きなことを自由に行うことができます。各スロットに計算量の多いタスクが複数含まれている場合は、各スロットに複数のコアを与えるのが理にかなっています。一方、各スロットに行う作業がほとんどなく、ほとんどの時間をI / Oでブロックする場合は、フラクショナルコアで十分です。