本地提交spark_Spark的提交方式有哪些？有什么区别？

spark的提交方式总体来说有两种&＃xff0c;分别是standalone模式和yarn模式。

这两种模式又分别有两种提交方式&＃xff0c;分别是&＃xff1a;standalone下的client提交方式。(客户端提交)

standalone下的cluster提交方式。(集群提交)

yarn下的client提交方式。(客户端提交)

yarn下的cluster提交方式。(集群提交)

下面分别来说说这几种提交方式。

Standalone模式下的两种提交方式&＃xff1a;

1、standalone-client任务提交方式

执行流程&＃xff1a;

1、client模式提交任务后&＃xff0c;会在客户端启动Driver。

2、Driver与Master通信&＃xff0c;为当前的Application申请资源。

3、资源申请成功。Driver将Task发送到Worker执行。

4、Worker将Task执行情况和执行结果返回给Driver端。

总结&＃xff1a;

Standalone-client适合测试使用&＃xff0c;不适合生产使用。

Driver进程是在客户端启动的&＃xff0c;这里的客户端是指提交任务的那个节点。Driver端可以看到Task执行的情况。

Standalone-client为什么不适合生产环境呢&＃xff1f;是因为假如要提交100个Application到集群运行&＃xff0c;Driver每次都会在client端启动&＃xff0c;会导致客户端100次网卡流量暴增的问题。

2、Standalone-cluster模式提交任务&＃xff1a;

执行流程&＃xff1a;

1、cluster模式下提交应用程序后&＃xff0c;会向Master申请启动Driver。

2、Master接受请求后&＃xff0c;随机在一台Worker启动Driver。

3、Driver启动后&＃xff0c;向Master申请资源。

4、资源申请成功后&＃xff0c;Driver将Task发送到Worker执行。

5、Worker将执行情况和执行结果返回给Driver端。

总结&＃xff1a;

Driver进程是在集群中某一台Worker上执行的&＃xff0c;客户端无法查看Task执行情况。假如要提交100个应用程序到集群上&＃xff0c;每次Driver会随机在集群中某台Worker上执行。

总结Standalone两种方式提交任务&＃xff0c;Driver与集群通信包括&＃xff1a;

1、申请资源。

2、分发任务。

3、回收结果。

4、监控Task执行情况。

Yarn模式下的两种提交方式&＃xff1a;

1、Yarn-clien方式提交任务&＃xff1a;

执行流程&＃xff1a;

1、客户端提交了一个Application&＃xff0c;在客户端启动了一个Driver。

2、应用程序启动后会向ResourceManager(RS)发送请求&＃xff0c;请求启动一个ApplicationMaster(AM)资源。

3、RS收到请求&＃xff0c;随机在一台NM(NodeManager)启动AM&＃xff0c;这里的NM相当于Standalone的Worker节点。

4、AM启动后&＃xff0c;会向RS申请一批资源&＃xff0c;用于启动Executor。

5、RS收到请求&＃xff0c;向AM返回一批NM节点。

6、AM会向NM发送命令启动Executor。

7、Executor启动后会反向注册给Driver&＃xff0c;Driver发送Task到Executor执行&＃xff0c;并监控执行情况和结果。

总结&＃xff1a;

与Standalone-client类似&＃xff0c;Yarn-client同样适用于测试环境&＃xff0c;因为Driver运行在本地&＃xff0c;大量提交Application会导致网卡流量激增问题。

client模式下ApplicationMaster的作用(注意&＃xff0c;client模式的AM和cluster的AM作用不同)&＃xff1a;

1、为Application申请资源。

2、给NM发送消息启动Executor。

注意&＃xff0c;这里的AM只用申请资源的功能&＃xff0c;没用任务调度的功能。

Yarn-cluster任务提交方式&＃xff1a;

执行流程&＃xff1a;

1、客户端提交了Application&＃xff0c;发送请求到RS&＃xff0c;请求启动一个AM。

2、AM收到请求&＃xff0c;在集群中随便找个节点启动AM(相当于Driver端)。

3、AM启动后&＃xff0c;向RS申请一批资源&＃xff0c;用于启动Executor。

4、RS收到请求&＃xff0c;向AM返回一批NM节点&＃xff0c;用来启动Executor。

5、AM连接到NM&＃xff0c;发送命令启动Executor。

6、Executor反向注册到AM所在节点的Driver&＃xff0c;Driver发送Task到Executor。

总结&＃xff1a;

cluster方式提交任务后&＃xff0c;Driver(AM)是分布到集群各个节点的&＃xff0c;不会造成网卡流量激增的问题。缺点是任务提交后无法查看日志&＃xff0c;只能通过Yarn查看日志。

ApplicationMaster作用&＃xff1a;

1、申请资源。

2、给NM发消息启动Executor。

3、任务调度。