flink中的计算资源

一、Flink Graph&＃xff08;DAG&＃xff09;

在Flink中的执行图可以分成四层&＃xff1a;StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。

• StreamGraph&＃xff1a;是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。
• JobGraph&＃xff1a;StreamGraph经过优化后生成了 JobGraph&＃xff0c;提交给 JobManager 的数据结构。主要的优化为&＃xff0c;将多个符合条件的节点 chain 在一起作为一个节点&＃xff0c;这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
• ExecutionGraph&＃xff1a;JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本&＃xff0c;是调度层最核心的数据结构。
• 物理执行图&＃xff1a;JobManager 根据 ExecutionGraph 对 Job 进行调度后&＃xff0c;在各个TaskManager 上部署 Task 后形成的“图”&＃xff0c;并不是一个具体的数据结构。

二、Flink job

• Job:作业&＃xff0c;类似Storm中的Topology&＃xff0c;同样对应着Flink中的一层层的图&＃xff0c;从StreamGraph --> JobGraph --> ExecutionGraph --> 物理执行图。
• Task&＃xff1a;类似于Storm中的Bolt&＃xff0c;为了拓扑更高效地运行&＃xff0c;Flink提出了Chaining&＃xff0c;尽可能地将operators chain在一起作为一个task来处理。对应于JobGraph中的JobVertex。
• operator&＃xff1a;算子&＃xff0c;对应于StreamGraph中的StreamNode。

三、Operator chains

1、概述

• 所谓的Operator chains&＃xff0c;存在于Flink中StreamGraph --> JobGraph的过程中&＃xff0c;将多个符合条件的StreamNode节点 chain在一起作为一个JobNode节点的优化行为.&＃xff08;StreamNode就是Operator&＃xff0c;因此称为Operator chains&＃xff09;

2、为什么Operator chains

• 为了更高效地分布式执行&＃xff0c;Flink会尽可能地将operator的subtask链接&＃xff08;chain&＃xff09;在一起形成task。每个task在一个线程中执行。将operators链接成task是非常有效的优化&＃xff1a;它能减少线程之间的切换&＃xff0c;减少消息的序列化/反序列化&＃xff0c;减少数据在缓冲区的交换&＃xff0c;减少了延迟的同时提高整体的吞吐量。

3、可以进行Operator chains的条件

• 1、上下游的并行度一致
• 2、下游节点的入度为1 &＃xff08;也就是说下游节点没有来自其他节点的输入&＃xff09;
• 3、上下游节点都在同一个 slot group 中&＃xff08;下面会解释 slot group&＃xff09;
• 4、下游节点的 chain 策略为 ALWAYS&＃xff08;可以与上下游链接&＃xff0c;map、flatmap、filter等默认是ALWAYS&＃xff09;
• 5、上游节点的 chain 策略为 ALWAYS 或 HEAD&＃xff08;只能与下游链接&＃xff0c;不能与上游链接&＃xff0c;Source默认是HEAD&＃xff09;
• 6、两个节点间数据分区方式是 forward&＃xff08;参考理解数据流的分区&＃xff09;
• 7、用户没有禁用 chain

四、Task Slot

1、概述

• Flink 中的计算资源通过 Task Slot 来定义。每个 task slot 代表了 TaskManager 的一个固定大小的资源子集。例如&＃xff0c;一个拥有3个slot的 TaskManager&＃xff0c;会将其管理的内存平均分成三分分给各个 slot。将资源 slot 化意味着来自不同job的task不会为了内存而竞争&＃xff0c;而是每个task都拥有一定数量的内存储备。需要注意的是&＃xff0c;这里不会涉及到CPU的隔离&＃xff0c;slot目前仅仅用来隔离task的内存。

2、共享Slot&＃xff1a;SlotSharingGroup

• 概述&＃xff1a;
  • 所谓的共享Slot&＃xff0c;就是指&＃xff1a;不同operator下面的subTask&＃xff08;这里是说&＃xff0c;一个operator往往会因为并行度的原因&＃xff0c;被分解成并行度个数的Task&＃xff0c;并行执行&＃xff09;&＃xff0c;可以在同一个Task Slot中运行&＃xff0c;即共享Slot。
  • 在Storm中&＃xff0c;supervisor下面是work&＃xff0c;work中往往一个Executor执行一个Task。
  • 而在Flink中&＃xff0c;TaskManager下面是slot&＃xff0c;相同的是Slot和Work都是一个JVM进程&＃xff0c;不同的是TaskManager会对Slot进行资源分配。
• 优点&＃xff1a;
  • Flink 集群所需的task slots数与job中最高的并行度一致。也就是说我们不需要再去计算一个程序总共会起多少个task了。
  • 更容易获得更充分的资源利用。如果没有slot共享&＃xff0c;那么非密集型操作source/flatmap就会占用同密集型操作 keyAggregation/sink 一样多的资源。如果有slot共享&＃xff0c;将基线的2个并行度增加到6个&＃xff0c;能充分利用slot资源&＃xff0c;同时保证每个TaskManager能平均分配到重的subtasks。