FlinkRuntime笔记

说明&＃xff1a;本文为《Flink大数据项目实战》学习笔记&＃xff0c;想通过视频系统学习Flink这个最火爆的大数据计算框架的同学&＃xff0c;推荐学习CSDN官网课程&＃xff1a;

Flink大数据项目实战&＃xff1a;http://t.cn/ExrHPl9

1. Flink运行时架构

1.1Flink架构

Flink 运行时架构主要包含几个部分&＃xff1a;Client、JobManager(master节点)和TaskManger(slave节点)。

Client&＃xff1a;Flink 作业在哪台机器上面提交&＃xff0c;那么当前机器称之为Client。用户开发的Program 代码&＃xff0c;它会构建出DataFlow graph&＃xff0c;然后通过Client提交给JobManager。

JobManager&＃xff1a;是主&＃xff08;master&＃xff09;节点&＃xff0c;相当于YARN里面的REsourceManager&＃xff0c;生成环境中一般可以做HA 高可用。JobManager会将任务进行拆分&＃xff0c;调度到TaskManager上面执行。

TaskManager&＃xff1a;是从节点&＃xff08;slave&＃xff09;&＃xff0c;TaskManager才是真正实现task的部分。

Client提交作业到JobManager&＃xff0c;就需要跟JobManager进行通信&＃xff0c;它使用Akka框架或者库进行通信&＃xff0c;另外Client与JobManager进行数据交互&＃xff0c;使用的是Netty框架。Akka通信基于Actor System&＃xff0c;Client可以向JobManager发送指令&＃xff0c;比如Submit job或者Cancel /update job。JobManager也可以反馈信息给Client&＃xff0c;比如status updates&＃xff0c;Statistics和results。

Client提交给JobManager的是一个Job&＃xff0c;然后JobManager将Job拆分成task&＃xff0c;提交给TaskManager&＃xff08;worker&＃xff09;。JobManager与TaskManager也是基于Akka进行通信&＃xff0c;JobManager发送指令&＃xff0c;比如Deploy/Stop/Cancel Tasks或者触发Checkpoint&＃xff0c;反过来TaskManager也会跟JobManager通信返回Task Status&＃xff0c;Heartbeat&＃xff08;心跳&＃xff09;&＃xff0c;Statistics等。另外TaskManager之间的数据通过网络进行传输&＃xff0c;比如Data Stream做一些算子的操作&＃xff0c;数据往往需要在TaskManager之间做数据传输。

TaskManger Slot

TaskManager是进程&＃xff0c;他下面运行的task&＃xff08;整个Flink应用是Job&＃xff0c;Job可以拆分成很多个task&＃xff09;是线程&＃xff0c;每个task/subtask(线程)下可运行一个或者多个operator&＃xff0c;即OperatorChain。Task是class&＃xff0c;抽象的&＃xff0c;subtask是Object(类比学习)&＃xff0c;具体的。

一个TaskManager通过Slot(任务槽)来控制它上面可以接受多少个task&＃xff0c;比如一个TaskManager划分了3个Task Slot(仅限内存托管&＃xff0c;目前CPU未做隔离)&＃xff0c;它只能接受3个task。Slot均分TaskManager所托管的内存&＃xff0c;比如一个TaskManager有6G内存&＃xff0c;那么每个Slot分配2G。

同一个TaskManager中的task共享TCP连接(通过多路复用)和心跳消息。它们还可以共享数据集和数据结构&＃xff0c;从而减少每个任务的开销。一个TaskManager有N个槽位只能接受N个Task吗&＃xff1f;不是&＃xff0c;后面会讲共享槽位。

1.3. OperatorChain && Task

为了更高效地分布式执行&＃xff0c;Flink会尽可能地将operator的subtask链接&＃xff08;chain&＃xff09;在一起形成task。以wordcount为例&＃xff0c;解析不同视图下的数据流&＃xff0c;如下图所示。

数据流&＃xff08;逻辑视图&＃xff09;

创建Source&＃xff08;并行度设置为1&＃xff09;读取数据源&＃xff0c;数据经过FlatMap&＃xff08;并行度设置为2&＃xff09;做转换操作&＃xff0c;然后数据经过Key Agg&＃xff08;并行度设置为2&＃xff09;做聚合操作&＃xff0c;最后数据经过Sink&＃xff08;并行度设置为2&＃xff09;将数据输出。

数据流&＃xff08;并行化视图&＃xff09;

并行度为1的Source读取数据源&＃xff0c;然后FlatMap并行度为2读取数据源进行转化操作&＃xff0c;然后数据经过Shuffle交给并行度为2的Key Agg进行聚合操作&＃xff0c;然后并行度为2的Sink将数据输出&＃xff0c;未优化前的task总和为7。

数据流&＃xff08;优化后视图&＃xff09;

并行度为1的Source读取数据源&＃xff0c;然后FlatMap并行度为2读取数据源进行转化操作&＃xff0c;然后数据经过Shuffle交给Key Agg进行聚合操作&＃xff0c;此时Key Agg和Sink操作合并为一个task&＃xff08;注意&＃xff1a;将KeyAgg和Sink两个operator进行了合并&＃xff0c;因为这两个合并后并不会改变整体的拓扑结构&＃xff09;&＃xff0c;它们一起的并行度为2&＃xff0c;数据经过Key Agg和Sink之后将数据输出&＃xff0c;优化后的task总和为5.

1.4. OperatorChain的优点和组成条件

OperatorChain的优点

1.减少线程切换

2.减少序列化与反序列化

3.减少数据在缓冲区的交换

4.减少延迟并且提高吞吐能力

OperatorChain 组成条件

1.没有禁用Chain

2.上下游算子并行度一致 。

3.下游算子的入度为1(也就是说下游节点没有来自其他节点的输入)。

4.上下游算子在同一个slot group(后面紧跟着就会讲如何通过slot group先分配到同一个solt&＃xff0c;然后才能chain) 。

5.下游节点的 chain 策略为 ALWAYS&＃xff08;可以与上下游链接&＃xff0c;map、flatmap、filter等默认是ALWAYS&＃xff09;。

6.上游节点的 chain 策略为 ALWAYS 或 HEAD&＃xff08;只能与下游链接&＃xff0c;不能与上游链接&＃xff0c;Source默认是HEAD&＃xff09;。

7.上下游算子之间没有数据shuffle (数据分区方式是 forward)。

1.5. 编程改变OperatorChain行为

Operator chain的行为可以通过编程API中进行指定&＃xff0c;可以通过在DataStream的operator后面&＃xff08;如someStream.map(..))调用startNewChain()来指示从该operator开始一个新的chain&＃xff08;与前面截断&＃xff0c;不会被chain到前面&＃xff09;。可以调用disableChaining()来指示该operator不参与chaining&＃xff08;不会与前后的operator chain一起&＃xff09;。可以通过调用StreamExecutionEnvironment.disableOperatorChaining()来全局禁用chaining。可以设置Slot group&＃xff0c;例如someStream.filter(...).slotSharingGroup(“name”)。可以通过调整并行度&＃xff0c;来调整Operator chain。