Spark算子groupbykey与reducebykey区别

&＃64;Author : Spinach | GHB
&＃64;Link : http://blog.csdn.net/bocai8058


0 算子reducebykey

reduceByKey&＃xff0c;相较于普通的shuffle操作(比如groupByKey)&＃xff0c;它的一个特点&＃xff0c;就是说&＃xff0c;会进行map端的本地聚合。

对map端给下个stage每个task创建的输出文件中&＃xff0c;写数据之前&＃xff0c;就会进行本地的combiner操作&＃xff0c;也就是说对每一个key&＃xff0c;对应的values&＃xff0c;都会执行你的算子函数( _ &＃43; _ )

• 用reduceByKey对性能的提升&＃xff1a;

1. 在本地进行聚合以后&＃xff0c;在map端的数据量就变少了&＃xff0c;减少磁盘IO。而且可以减少磁盘空间的占用。
2. 下一个stage&＃xff0c;拉取数据的量&＃xff0c;也就变少了。减少网络的数据传输的性能消耗。
3. 在reduce端进行数据缓存的内存占用变少了。
4. reduce端&＃xff0c;要进行聚合的数据量也变少了。

1 算子groupbykey

groupByKey会对每一个RDD中的value值进行聚合形成一个序列(Iterator)&＃xff0c;此操作发生在reduce端&＃xff0c;所以势必会将所有的数据通过网络进行传输&＃xff0c;造成不必要的浪费。同时如果数据量十分大&＃xff0c;可能还会造成OutOfMemoryError。


引用&＃xff1a;https://blog.csdn.net/wuxintdrh/article/details/81407859 | https://www.cnblogs.com/bonelee/p/7111395.html