flinkTskManger与Slots

Flink中每一个worker(TaskManager)都是一个JVM进程&＃xff0c;它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task&＃xff0c;worker通过task slot来进行控制&＃xff08;一个worker至少有一个task slot&＃xff09;。

每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot&＃xff0c;那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的subtask竞争被管理的内存&＃xff0c;取而代之的是它将拥有一定数量的内存储备。需要注意的是&＃xff0c;这里不会涉及到CPU的隔离&＃xff0c;slot目前仅仅用来隔离task的受管理的内存。

通过调整task slot的数量&＃xff0c;允许用户定义subtask之间如何互相隔离。如果一个TaskManager一个slot&＃xff0c;那将意味着每个task group运行在独立的JVM中&＃xff08;该JVM可能是通过一个特定的容器启动的&＃xff09;&＃xff0c;而一个TaskManager多个slot意味着更多的subtask可以共享同一个JVM。而在同一个JVM进程中的task将共享TCP连接&＃xff08;基于多路复用&＃xff09;和心跳消息。它们也可能共享数据集和数据结构&＃xff0c;因此这减少了每个task的负载。

图 TaskManager与Slot

图 子任务共享Slot

默认情况下&＃xff0c;Flink允许子任务共享slot&＃xff0c;即使它们是不同任务的子任务&＃xff08;前提是它们来自同一个job&＃xff09;。 这样的结果是&＃xff0c;一个slot可以保存作业的整个管道。

Task Slot是静态的概念&＃xff0c;是指TaskManager具有的并发执行能力&＃xff0c;可以通过参数taskmanager.numberOfTaskSlots进行配置&＃xff1b;而并行度parallelism是动态概念&＃xff0c;即TaskManager运行程序时实际使用的并发能力&＃xff0c;可以通过参数parallelism.default进行配置。

也就是说&＃xff0c;假设一共有3个TaskManager&＃xff0c;每一个TaskManager中的分配3个TaskSlot&＃xff0c;也就是每个TaskManager可以接收3个task&＃xff0c;一共9个TaskSlot&＃xff0c;如果我们设置parallelism.default&＃61;1&＃xff0c;即运行程序默认的并行度为1&＃xff0c;9个TaskSlot只用了1个&＃xff0c;有8个空闲&＃xff0c;因此&＃xff0c;设置合适的并行度才能提高效率。