大数据开发岗面试复习30天冲刺日积月累，每日五题【Day21】——Spark8

前言

大家好&＃xff0c;我是程序员manor。作为一名大数据专业学生、爱好者&＃xff0c;深知面试重要性&＃xff0c;很多学生已经进入暑假模式&＃xff0c;暑假也不能懈怠&＃xff0c;正值金九银十的秋招
接下来我准备用30天时间&＃xff0c;基于大数据开发岗面试中的高频面试题&＃xff0c;以每日5题的形式&＃xff0c;带你过一遍常见面试题及恰如其分的解答。

相信只要一路走来&＃xff0c;日积月累&＃xff0c;我们终会在最高处见。
以古人的话共勉&＃xff1a;道阻且长&＃xff0c;行则将至&＃xff1b;行而不辍&＃xff0c;未来可期&＃xff01;

本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。

面试题 01、运行在yarn中Application有几种类型的container&＃xff1f;
面试题02、Executor启动时&＃xff0c;资源通过哪几个参数指定&＃xff1f;
面试题 03、一个task的map数量由谁来决定&＃xff1f;
面试题04、列出你所知道的调度器&＃xff0c;说明其工作原理&＃xff1f;
面试题05、导致Executor产生FULL gc 的原因&＃xff0c;可能导致什么问题&＃xff1f;


以下答案仅供参考&＃xff1a;

面试题 01、运行在yarn中Application有几种类型的container&＃xff1f;

1&＃xff09;运行ApplicationMaster的Container&＃xff1a;这是由ResourceManager&＃xff08;向内部的资源调度器&＃xff09;申请和启动的&＃xff0c;用户提交应用程序时&＃xff0c; 可指定唯一的ApplicationMaster所需的资源&＃xff1b;
2&＃xff09;运行各类任务的Container&＃xff1a;这是由ApplicationMaster向ResourceManager申请的&＃xff0c;并由ApplicationMaster与NodeManager通信以启动之。

面试题02、Executor启动时&＃xff0c;资源通过哪几个参数指定&＃xff1f;

1&＃xff09;num-executors是executor的数量
2&＃xff09;executor-memory 是每个executor使用的内存
3&＃xff09;executor-cores 是每个executor分配的CPU

面试题03、一个task的map数量由谁来决定&＃xff1f;

一般情况下&＃xff0c;在输入源是文件的时候&＃xff0c;一个task的map数量由splitSize来决定的
那么splitSize是由以下几个来决定的
goalSize &＃61; totalSize / mapred.map.tasks inSize &＃61; max {mapred.min.split.size, minSplitSize} splitSize &＃61; max (minSize, min(goalSize, dfs.block.size)) 一个task的reduce数量&＃xff0c;由partition决定。

面试题04、列出你所知道的调度器&＃xff0c;说明其工作原理&＃xff1f;

1&＃xff09;FiFo schedular 默认的调度器 先进先出
2&＃xff09;Capacity schedular 计算能力调度器 选择占用内存小 优先级高的
3&＃xff09;Fair schedular 调度器 公平调度器 所有job 占用相同资源

面试题05、导致Executor产生FULL gc 的原因&＃xff0c;可能导致什么问题&＃xff1f;

可能导致Executor僵死问题&＃xff0c;海量数据的shuffle和数据倾斜等都可能导致full gc。
以shuffle为例&＃xff0c;伴随着大量的Shuffle写操作&＃xff0c;JVM的新生代不断GC&＃xff0c; Eden Space写满了就往Survivor Space写&＃xff0c;
同时超过一定大小的数据会直接写到老生代&＃xff0c;当新生代写满了之后&＃xff0c;也会把老的数据搞到老生代&＃xff0c;如果老生代空间不足了&＃xff0c; 就触发FULL GC&＃xff0c;
还是空间不够&＃xff0c;那就OOM错误了&＃xff0c;此时线程被Blocked&＃xff0c;导致整个Executor处理数据的进程被卡住。

总结

今天我们复习了面试中常考的Spark相关的五个问题&＃xff0c;你做到心中有数了么&＃xff1f;
其实做这个专栏我也有私心&＃xff0c;就是希望借助每天写一篇面试题&＃xff0c;督促自己学习&＃xff0c;以免在面试期间尴尬&＃xff01;平时不流汗,面试多流泪!
对了&＃xff0c;如果你的朋友也在准备面试&＃xff0c;请将这个系列扔给他&＃xff0c;
好了&＃xff0c;今天就到这里&＃xff0c;学废了的同学&＃xff0c;记得在评论区留言&＃xff1a;打卡。给同学们以激励。