Flink乱序数据处理过程解析

流数据流经source&＃xff0c;再到operator&＃xff0c;由于网络延迟等原因&＃xff0c;导致乱序的产生&＃xff08;这里的乱序是指事件产生的时间EventTime和到达处理机制进行处理的顺序不一样&＃xff09;&＃xff0c;特别是使用kafka的话&＃xff0c;多个分区的数据source之后无法保证有序。所以在进行window计算的时候&＃xff0c;如果有涉及时间的&＃xff0c;比如&＃xff08;前一小时的访问量&＃xff09;&＃xff0c;必须要有个机制来保证操作结果的相对准确性。Flink运用一下几个机制来保证事件事件和操作时间的相对一致。

1.warterMark

在不添加EventTime&＃xff0c;只有窗口操作的情况下&＃xff0c;Flink实时性得到了最大的发挥&＃xff0c;但是于此同时&＃xff0c;操作结果也非常不准确&＃xff0c;只要过来的数据有达到窗口的结束时间window_end_time的&＃xff0c;将会马上触发窗口&＃xff0c;那么在接收数据是乱序的情况下&＃xff0c;将会导致此窗口的数据大部分的丢失

warter是用来定义延迟触发窗口操作的时间的&＃xff0c;假设窗口时00&＃xff1a;00~00&＃xff1a;05&＃xff0c;warter为1分钟&＃xff0c;那么相当于将接收这个窗口中的数据的时间向后延长了1分钟&＃xff0c;自然操作这些数据的时间也会延迟1分钟。这是为了形象的理解&＃xff0c;实际上时warterMark倒退了1分钟&＃xff0c;等到wartermark的时间真正达到和window_end_time时间相同时&＃xff0c;才触发窗口。

2.allowedLateness

在添加warterark之后&＃xff0c;保证了绝大多数数据的准确性&＃xff0c;但是warterMark的时间也不能设置过长&＃xff0c;因为flink框架的特点就是低延迟&＃xff0c;设置过高不利于保证实时性。因此&＃xff0c;我们一般会将warter设置在一个较小但是又能保证绝大多数数据都会被计算。那么剩下仍旧有少数数据没有在此事件内到达&＃xff0c;导致我们没有在warterMark这段时间内接收到&＃xff0c;allowedLateness是为了保证warter之后短时间内的数据可以被计算的&＃xff0c;在window_end_time&＃43;watermark 至window_end_time&＃43;watermark&＃43;allowedLateness的属于此窗口的数据&＃xff0c;只要来一次就会和window中的其它数据被计算一次&＃xff0c;这样保证了短期内对计算结果的更新。

3.OutputLateData

window_end_time&＃43;watermarkallowedLateness之后的极少量数据&＃xff0c;将会被放入OutputLateData进行处理&＃xff0c;不会主动并入之前的计算结果进行计算。

如下&＃xff0c;是刚才花了很久时间画出来的一张很丑的图。。。。。。。。。。。。。。。