Flink,join，coGroup，connect，union的区别、使用和实

join&＃xff1a;

1 可用于DataStream和DataSet。只能2个DataStream一起join&＃xff0c;或者2个DataSet一起join

2 用于DataStream时返回是JoinedStreams  ,用于DataSet时返回是JoinOperatorSets  

3 用于DataStream时需要与窗口同时使用&＃xff0c;语法是&＃xff1a;join where equalTo window apply &＃xff0c;用于DataSet时的语法是&＃xff1a;join where equalTo with &＃xff08;where是指定第一个输入的分区字段&＃xff0c;equalTo是指定第二个输入的分区字段&＃xff0c;这2个字段类型需要一致&＃xff09;

4 与SQL中的inner join同义&＃xff0c;只输出2个实时窗口内或2个数据集合内能匹配上的笛卡尔积&＃xff0c;不能匹配上的不输出。

5 apply方法中或with方法中均可以使用JoinFunction或 FlatJoinFunction处理匹配上的数据对&＃xff08;用于DataStream和DataSet时均可&＃xff09;

6 侧重对2个输入里的 数据对 进行处理&＃xff0c;join方法的入参是单个数据

7 可以join2个类型不同的流或join2个类型不同的数据集&＃xff08;比如Tuple2 join Tuple2&＃xff09;,但是匹配的key或field类型要一致&＃xff0c;不然报错&＃xff08;比如where中的String与equalTo中的String匹配才行&＃xff09;

Flink,join双流&＃xff0c;join实例&＃xff0c;java版本

Flink,join DataSet数据集&＃xff0c;join实例&＃xff0c;java版本

coGroup&＃xff1a;

1 可用于DataStream和DataSet。只能2个DataStream一起coGroup&＃xff0c;或者2个DataSet一起coGroup

2 用于DataStream时返回是CoGroupedStreams&＃xff0c;用于DataSet时返回是CoGroupOperatorSets

3 用于DataStream时需要与窗口同时使用&＃xff0c;语法是&＃xff1a;coGroup where equalTo window apply &＃xff0c;用于DataSet时的语法是&＃xff1a;coGroup where equalTo with,

4 把2个实时窗口内或2个数据集合内key相同的数据分组同一个分区&＃xff0c;key不能匹配上的数据&＃xff08;只在一个窗口或集合内存在的数据&＃xff09;也分组到另一个分区上。

5 apply方法中或with方法中均可以使用CoGroupFunction对数据分组&＃xff08;用于DataStream和DataSet时均可&＃xff0c;无FlatCoGroupFunction&＃xff09;

6 侧重对2个输入的 集合 进行处理&＃xff0c;coGroup方法的入参是Iterable类型

7 可以coGroup2个类型不同的流或coGroup2个类型不同的数据集&＃xff08;比如Tuple2 join Tuple2&＃xff09;,但是匹配的key或field类型要一致&＃xff0c;不然报错&＃xff08;比如where中的String与equalTo中的String匹配才行&＃xff09;

Flink,coGroup双流&＃xff0c;coGroup实例&＃xff0c;java版本

Flink,coGroup DataSet数据集&＃xff0c;coGroup实例&＃xff0c;java版本

connect:

1 只能用于DataStream,返回是ConnectedStreams。不能用于DataSet.

2 只能2个流一起connect&＃xff08;stream1.connect(stream2)&＃xff09;

3 connect后可以对2个流分别处理&＃xff08;使用CoMapFunction或CoFlatMapFunction&＃xff09;

4  可以connect2个类型不同的流&＃xff08;比如Tuple2 connect Tuple2&＃xff09;

Flink,connect双流&＃xff0c;connect实例&＃xff0c;java版本

union:

1 用于DataStream时,返回是Datastream;用于DataSet时,返回是DataSet;

2 可以多个流一起合并&＃xff08;stream1.union(stream2,stream3,stream4)&＃xff09;&＃xff0c;合并结果是一个新Datastream&＃xff1b;只能2个DataSet一起合并&＃xff0c;合并结果是一个新DataSet

3 无论是合并Datastream还是合并DataSet&＃xff0c;都不去重&＃xff0c;2个源的消息或记录都保存。

4 不可以union 2个类型不同的流或union 2个类型不同的数据集

Flink,union双流&＃xff0c;union实例&＃xff0c;java版本

Flink,union DataSet数据集&＃xff0c;union实例&＃xff0c;java版本

---------------------------------更多精辟的见解可见下方----------------------------------

0: