Spark的宽依赖和窄依赖

如何区分宽窄依赖&＃xff1f;
1:1或者n:1 无shuffle&＃xff0c;是窄依赖&＃xff0c;n:n有shuffle是宽依赖。
从父RDD到子RDD的角度可以区分开&＃xff0c;父RDD1个分区到子RDD的多个分区是宽依赖&＃xff0c;到1个分区是窄依赖&＃xff0c;要是从子RDD到父RDD的角度则是没区别&＃xff0c;看不清了。
为啥窄依赖没有shuffle&＃xff0c;而宽依赖有shuffle呢&＃xff0c;应该是跟这个1:1或者n:1 &＃xff0c;还是 n:n 有关系&＃xff0c;n:n才需要等所有shuffle结束&＃xff0c;所有依赖都满足&＃xff0c;才会进行下一stage&＃xff0c;窄依赖就不用shuffle&＃xff0c;一个stage内的多task就可以了。
窄依赖不搞shuffle&＃xff0c;还有一个原因就是合并算子链&＃xff0c;形成管道&＃xff0c;且容错高&＃xff0c;单个task出错&＃xff0c;只需要计算单个task&＃xff0c;不需要重新计算整个任务。
实际上stage的划分既可以说是按照宽依赖来划分的&＃xff0c;也可以说是按照shuffle来划分的&＃xff0c;每个stage内部都是窄依赖&＃xff0c;是可能形成管道的&＃xff0c;窄依赖是并行的&＃xff0c;宽依赖是串行的。