[Flink]Flink章1Flink架构浅析

一、简介

Flink 运行时架构主要包含几个部分&＃xff1a;Client、JobManager(master节点)和TaskManger(slave节点)。

 二、分工

JobManager&＃xff1a;是主&＃xff08;master&＃xff09;节点&＃xff0c;相当于YARN里面的REsourceManager&＃xff0c;生成环境中一般可以做HA 高可用。JobManager会将任务进行拆分&＃xff0c;调度到TaskManager上面执行。

TaskManager&＃xff1a;是从节点&＃xff08;slave&＃xff09;&＃xff0c;TaskManager才是真正实现task的部分。

Client提交作业到JobManager&＃xff0c;就需要跟JobManager进行通信&＃xff0c;它使用Akka框架或者库进行通信&＃xff0c;另外Client与JobManager进行数据交互&＃xff0c;使用的是Netty框架。Akka通信基于Actor System&＃xff0c;Client可以向JobManager发送指令&＃xff0c;比如Submit job或者Cancel /update job。JobManager也可以反馈信息给Client&＃xff0c;比如status updates&＃xff0c;Statistics和results。

Client提交给JobManager的是一个Job&＃xff0c;然后JobManager将Job拆分成task&＃xff0c;提交给TaskManager&＃xff08;worker&＃xff09;。JobManager与TaskManager也是基于Akka进行通信&＃xff0c;JobManager发送指令&＃xff0c;比如Deploy/Stop/Cancel Tasks或者触发Checkpoint&＃xff0c;反过来TaskManager也会跟JobManager通信返回Task Status&＃xff0c;Heartbeat&＃xff08;心跳&＃xff09;&＃xff0c;Statistics等。另外TaskManager之间的数据通过网络进行传输&＃xff0c;比如Data Stream做一些算子的操作&＃xff0c;数据往往需要在TaskManager之间做数据传输。

当Flink系统启动时&＃xff0c;首先启动JobManager和一至多个TaskManager。JobManager负责协调Flink系统&＃xff0c;TaskManager则是执行并行程序的worker。当系统以本地形式启动时&＃xff0c;一个JobManager和一个TaskManager会启动在同一个JVM中。当一个程序被提交后&＃xff0c;系统会创建一个Client来进行预处理&＃xff0c;将程序转变成一个并行数据流的形式&＃xff0c;交给JobManager和TaskManager执行。