大数据（二）flink1概念介绍

Apache Flink是一个框架和分布式处理引擎&＃xff0c;用于对无界和有界数据流进行有状态计算。

2015年升级为Apache的顶级项目&＃xff0c;然后突然爆发&＃xff0c;之后被阿里收购。

基本上国内说得出名字的大厂都在用flink。

1&＃xff0c;事件驱动&＃xff1a;

     根据数据的到来触发一系列的计算&＃xff0c;输出等。

2&＃xff0c;流处理和批处理

     批处理的特点就是 有界&＃xff0c;持久&＃xff0c;量大&＃xff0c;非常适合做离线计算

     流处理的特点就是 无界&＃xff0c;实时&＃xff0c;无需针对整个数据集执行操作&＃xff0c;而是对传输过来的

每个数据项执行操作&＃xff0c;一般用户实时计算

无界数据流&＃xff1a;无界数据流有一个开始但是没有结束&＃xff0c;它们不会在生成时终止并提供数据&＃xff0c;必须连续处理无界流&＃xff0c;也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达&＃xff0c;因为输入是无界的&＃xff0c;并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序&＃xff08;例如事件发生的顺序&＃xff09;获取event&＃xff0c;以便能够推断结果完整性。

有界数据流&＃xff1a;有界数据流有明确定义的开始和结束&＃xff0c;可以在执行任何计算之前通过获取所有数据来处理有界流&＃xff0c;处理有界流不需要有序获取&＃xff0c;因为可以始终对有界数据集进行排序&＃xff0c;有界流的处理也称为批处理。

分别是ProcessFunction&＃xff0c;DataStream Api&＃xff0c;SQL/Table Api&＃xff0c;

最底层的是ProcessFunction,功能最强大&＃xff0c;但也最复杂。

一般我们操作的都是DataStream这一层来处理数据&＃xff0c;实在不行就嵌入ProcessFunction层。

DataStream Api提供了很多模块因子&＃xff0c;比如由用户定义的多种形式的转换&＃xff08;transformations&＃xff09;&＃xff0c;连接&＃xff08;joins&＃xff09;&＃xff0c;聚合&＃xff08;aggregations&＃xff09;&＃xff0c;窗口操作&＃xff08;windows&＃xff09;

Table API 是以表为中心的声明式编程&＃xff0c;其中表可能会动态变化&＃xff08;在表达流数据时&＃xff09;

像阿里Flink的分支 blink 就是往这方面发展&＃xff0c;Blink比起Flink的优势就是对SQL语法的更完善的支持以及执行SQL的性能提升。

未来以后可能大量的开发就落在Table API 这层咯。

这个特性就是确保一条数据&＃xff0c;收并且只能收到一次。这个就能保证结果的准确性。

Flink其实跟flume差不多&＃xff0c;主要是是3部分&＃xff0c;flume是 source -> channal -> sink

             flink 也是 source -> operator -> sick

   flink通过source 接受数据&＃xff0c;source 可以是配多种多样&＃xff0c;不过生成上大部分都是用kafka.

  因为前面说了&＃xff0c;flink是事件驱动型&＃xff0c;当source监听kafka的数据后&＃xff0c;会向flink的jobManager

提交job,jobManage会根据job等资源优化后就会分配Taskmanager,Taskmanager是真正计算的地方&＃xff0c;它会通过一系列的

计算因子&＃xff0c;最后将结果返回给jobManage&＃xff0c;再返回给flink客户端。

Worker与Slots

每一个worker(TaskManager)是一个JVM进程&＃xff0c;它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task&＃xff0c;worker通过task slot来进行控制&＃xff08;一个worker至少有一个task slot&＃xff09;。·

每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot&＃xff0c;那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的subtask竞争被管理的内存&＃xff0c;取而代之的是它将拥有一定数量的内存储备。需要注意的是&＃xff0c;这里不会涉及到CPU的隔离&＃xff0c;slot目前仅仅用来隔离task的受管理的内存。

通过调整task slot的数量&＃xff0c;允许用户定义subtask之间如何互相隔离。如果一个TaskManager一个slot&＃xff0c;那将意味着每个task group运行在独立的JVM中&＃xff08;该JVM可能是通过一个特定的容器启动的&＃xff09;&＃xff0c;而一个TaskManager多个slot意味着更多的subtask可以共享同一个JVM。而在同一个JVM进程中的task将共享TCP连接&＃xff08;基于多路复用&＃xff09;和心跳消息。它们也可能共享数据集和数据结构&＃xff0c;因此这减少了每个task的负载。

图 TaskManager与Slot

Task Slot是静态的概念&＃xff0c;是指TaskManager具有的并发执行能力&＃xff0c;可以通过参数taskmanager.numberOfTaskSlots进行配置&＃xff0c;而并行度parallelism是动态概念&＃xff0c;即TaskManager运行程序时实际使用的并发能力&＃xff0c;可以通过参数parallelism.default进行配置。

也就是说&＃xff0c;假设一共有3个TaskManager&＃xff0c;每一个TaskManager中的分配3个TaskSlot&＃xff0c;也就是每个TaskManager可以接收3个task&＃xff0c;一共9个TaskSlot&＃xff0c;如果我们设置parallelism.default&＃61;1&＃xff0c;即运行程序默认的并行度为1&＃xff0c;9个TaskSlot只用了1个&＃xff0c;有8个空闲&＃xff0c;因此&＃xff0c;设置合适的并行度才能提高效率