Informazioni sull'allocazione dei core per il task manager e lo slot di attività di flink

Question

Uso il seguente comando per dare il via a una sessione di filati flink.

yarn-session.sh -jm 4096 -tm 4096 -n 4 -s 2

Con il comando sopra, significa che verranno avviati 4 task manager (significa anche che vengono avviati 4 contenitori di filati poiché ogni task manager è un contenitore di filati) e 2 slot per ciascun task manager.

Poiché un task manager è un contenitore di filati, ciò significa che viene allocato un solo core per ciascun task manager, ma ho specificato 2 slot per ciascun task manager, il che significa che i due slot condivideranno solo un core?

Ho pensato che ogni slot dovrebbe occupare almeno un core?

Non sono sicuro di aver capito correttamente o mi sono perso qualcosa.

Answer 1

"Un core per slot" è stato suggerito come punto di partenza predefinito, ma non dovrebbe essere considerato una regola. Sei libero di fare quello che vuoi. Se ogni slot contiene diverse attività ad alta intensità di calcolo, ha senso assegnare a ogni slot più core. D'altra parte, se ogni slot ha poco lavoro da fare e trascorrerà la maggior parte del tempo bloccato su i / o, sarà sufficiente un core frazionario.