db2有主键时默认hash分区_SparkRDD依赖关系以及分区属性

RDD的依赖关系

Spark中使用DAG&＃xff08;有向无环图&＃xff09;来描述RDD之间的依赖关系&＃xff0c;根据依赖关系的不同&＃xff0c;划分为宽依赖和窄依赖

通过上图&＃xff0c;可以很容易得出所谓宽依赖&＃xff1a;多个子RDD的partition会依赖同一个parentRDD的partition&＃xff1b;窄依赖&＃xff1a;每个parentRDD的partition最多被子RDD的一个partition使用。这两个概念很重要&＃xff0c;像宽依赖是划分stage的关键&＃xff0c;并且一般都会伴有shuffle&＃xff0c;而窄依赖之间其实就形成前文所述的pipeline管道进行处理数据。&＃xff08;图中的map、filter等是Spark提供的算子&＃xff0c;具体含义大家可以自行到Spark官网了解&＃xff0c;顺便感受一下scala函数式编程语言的强大&＃xff09;。

Spark任务以及stage等的具体划分&＃xff0c;牵涉到源码&＃xff0c;后续会单独讲解

最后笔者以RDD源码中的注释&＃xff0c;阐述一下RDD的属性&＃xff1a;

1. 分区列表&＃xff08;数据块列表&＃xff0c;只保存数据位置&＃xff0c;不保存具体地址&＃xff09;

2. 计算每个分片的函数&＃xff08;根据父RDD计算出子RDD&＃xff09;

3. RDD的依赖列表

4. RDD默认是存储于内存&＃xff0c;但当内存不足时&＃xff0c;会spill到disk&＃xff08;可通过设置StorageLevel来控制&＃xff09;

5. 默认hash分区&＃xff0c;可自定义分区器

6. 每一个分片的优先计算位置&＃xff08;preferred locations&＃xff09;列表&＃xff0c;比如HDFS的block的所在位置应该是优先计算的位置

更多Spark分区原理和特性请参考文章&＃xff1a;

关注 微信公众号&＃xff1a;大数据学习与分享&＃xff0c;获取更多技术干货