Spark面试：Sparkonyarn运行流程

一&＃xff1a;
Spark on YARN能让Spark计算模型在云梯YARN集群上运行&＃xff0c;直接读取云梯上的数据&＃xff0c;并充分享受云梯YARN集群丰富的计算资源。
二&＃xff1a;
基于YARN的Spark作业首先由客户端生成作业信息&＃xff0c;提交给ResourceManager&＃xff0c;
ResourceManager在某一 NodeManager汇报时把AppMaster分配给NodeManager&＃xff0c;
NodeManager启动 SparkAppMaster&＃xff0c;SparkAppMaster启动后初始化作业&＃xff0c;
向ResourceManager申请资源&＃xff0c;申请到相应资源后 SparkAppMaster通过RPC让NodeManager启动相应的SparkExecutor&＃xff0c;
SparkExecutor向 SparkAppMaster汇报并完成相应的任务
SparkClient会通过AppMaster获取作业运行状态。
三&＃xff1a;
driver 运行在集群中&＃xff08;cluster模式&＃xff09;
1、client 向 yarn 提交一个job
2、ResouceManager 为该job在某个 NodeManager 上分配一个 ApplicationMaster&＃xff0c;NM启动AppMaster&＃xff0c;Appmaster 启动 driver
3、ApplicationMaster 启动后完成初始化作业&＃xff0c;driver 生成一系列task
4、AM 向 RM 申请资源&＃xff0c;RM 返回 Executo r信息
5、AM 通过 rpc 启动相应的 sparkExecutor
6、Driver 向 Executor 分配 task
7、Executor 执行结果写入文件或返回 driver 端

四&＃xff1a;
driver运行在client端
1、客户端启动后直接运行应用程序&＃xff0c;直接启动 driver
2、driver 初始化并生成一系列 task
3、客户端将 job 发布到 yarn 上
4、RM 为该job 在某个 NM 分配一个 AM
5、AM 向 RM 申请资源&＃xff0c;RM 返回Executor 信息
6、AM 通过 RPC 启动相应的 SparkExecutor
7、Driver 向 Executor 分配 task
8、Executor 执行task 并将结果写入第三方存储系统或者 Driver 端

五&＃xff1a;对比总图