个子_Spark常见问题整理面试前必看

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Spark常见问题整理--面试前必看相关的知识，希望对你有一定的参考价值。

一、job、stage、Task之间的关系是什么&＃xff1f;

• 一个job可以包含多个stage

• 一个stage包含多个task

二、job、stage、Task之间的关系是什么&＃xff1f;

• 每提交一个任务&＃xff0c;就会创建一个job&＃xff0c;即调用action算子的时候会创建job【当调用算子之后返回值不是RDD类型的就可以归为Action算子】
• 根据宽依赖和窄依赖划分stage&＃xff0c;如果是宽依赖&＃xff0c;就新增一个stage
• Task数量实际上就是分区的数量

三、什么是宽依赖、窄依赖&＃xff1f;

• 如果一个父RDD分区被多个子RDD的分区使用&＃xff0c;就是宽依赖【超生】如果一个父RDD分区被多个子RDD的分区使用&＃xff0c;就是宽依赖【超生】
• 如果一个父RDD分区只被一个子RDD分区使用&＃xff0c;就是窄依赖【独生】如果一个父RDD分区只被一个子RDD分区使用&＃xff0c;就是窄依赖【独生】
• abstract class Dependencyabstract class Dependency
  
  • abstract class NarrowDependency extend Dependency 有一个抽象方法&＃xff0c;getParents&＃xff08;&＃xff09;
    
    • class OneToOneDependency extend NarrowDependency 实现抽象方法getParents&＃xff08;&＃xff09;
    • class RangeDependency extend NarrowDependency 实现抽象方法getParents&＃xff08;&＃xff09;class RangeDependency extend NarrowDependency 实现抽象方法getParents&＃xff08;&＃xff09;
  • class ShuffleDependency extend Dependencyclass ShuffleDependency extend Dependency

四、Action算子和Transformation算子是什么&＃xff0c;列举一些&＃xff1f;

• Action算子会创建job&＃xff0c;会立即执行。 例如&＃xff1a;take &＃xff0c;first&＃xff0c;collect&＃xff0c;foreach&＃xff0c;foreachPartition。

• Transformation不会立即执行&＃xff0c;但是里边会记录一些依赖关系&＃xff0c;还有函数。 例如&＃xff1a;map&＃xff0c;filter&＃xff0c;flatMap&＃xff0c;reduceByKey&＃xff0c;groupByKey等等。

五、reduceByKey和groupByKey有什么区别&＃xff1f;

reduceByKey&＃xff1a;reduceByKey 会在结果发送至reducer 之前会对每个mapper 在本
地进行merge&＃xff0c;有点类似于在MapReduce 中的combiner。这样做的好处在于&＃xff0c;
在map 端进行一次reduce 之后&＃xff0c;数据量会大幅度减小&＃xff0c;从而减小传输&＃xff0c;保证reduce
端能够更快的进行结果计算。

groupByKey&＃xff1a;groupByKey 会对每一个RDD 中的value 值进行聚合形成一个序列
(Iterator)&＃xff0c;此操作发生在reduce 端&＃xff0c;所以势必会将所有的数据通过网络进行传输&＃xff0c;
造成不必要的浪费。同时如果数据量十分大&＃xff0c;可能还会造成OutOfMemoryError。

结论&＃xff1a;

所以在进行大量数据的reduce 操作时候建议使用reduceByKey。不仅可以提高速
度&＃xff0c;还可以防止使用groupByKey 造成的内存溢出问题。

六、RDD五大属性

七、Spark的架构与作业提交流程