CDH在YARN上运行Spark应用程序

翻译： https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_running_spark_on_yarn.html
版本： 5.14.2

当Spark应用程序在YARN集群管理器上运行时，资源管理，调度和安全性由YARN控制。

继续阅读：

• 部署模式
• 配置环境
• 在YARN上运行Spark Shell应用程序
• 将Spark应用程序提交给YARN
• 监视和调试Spark应用程序
• 例如：在YARN上运行SparkPi
• 在YARN应用程序上配置Spark
• 动态分配
• 优化CDH部署中的YARN模式

部署模式

在YARN中，每个应用程序实例都有一个ApplicationMaster进程，该进程是为该应用程序启动的第一个容器。应用程序负责从ResourceManager请求资源。一旦分配了资源，应用程序将指示NodeManagers代表它启动容器。ApplicationMasters消除了对活动客户端的需求：客户端上启动应用程序的进程可以终止，YARN进行协作管理的进程继续进行。

有关指定部署模式的选项，请参阅spark-submit选项。

群集部署模式

在集群模式下，Spark驱动程序在集群主机上的ApplicationMaster中运行。YARN容器中的单个进程负责驱动应用程序并向YARN请求资源。启动应用程序的客户端不需要在应用程序的生命周期中运行。

图片.png

集群模式不太适合交互式使用Spark。需要用户输入的Spark应用程序，例如 spark-shell and pyspark，需要Spark驱动程序在启动Spark应用程序的客户端进程中运行。

客户端部署模式

在客户端模式下，Spark驱动程序在提交作业的主机上运行。ApplicationMaster仅负责从YARN请求执行程序容器。容器启动后，客户端与容器通信以安排工作。

图片.png

Deployment Mode Summary

配置环境

Spark要求客户端配置文件包含 HADOOP_CONF_DIR or YARN_CONF_DIR 环境变量，指向集群目录。这些配置用于写入HDFS并连接到YARN ResourceManager。如果您使用Cloudera Manager部署，则会自动配置这些变量。如果您使用的是非托管部署，请确保按照在YARN上运行Spark中所述设置变量。

在YARN上运行Spark Shell应用程序

在YARN上使用运行spark-shell or pyspark ，使用 &＃8211;master yarn &＃8211;deploy-mode client 启动应用程序。

如果您正在使用Cloudera Manager部署，则会自动配置这些属性。

将Spark应用程序提交给YARN

要向YARN提交应用，请使用spark-submit，指定&＃8211;master yarn 选项，请参阅spark-submit参数。

监视和调试Spark应用程序

要获取有关Spark应用程序行为的信息，可以参考YARN日志和Spark Web应用程序UI。这两种方法提供补充信息。有关如何查看由Spark应用程序和Spark Web应用程序UI创建的日志的信息，请参阅监控Spark应用程序。

例如：在YARN上运行SparkPi

这些例子演示了如何使用 spark-submit 用各种选项提交SparkPi Spark示例应用程序。在这些例子中，在JAR控制了逼近应该与pi接近多少之后通过的参数。

在CDH部署中，SPARK_HOME 默认为/usr/lib/spark 在包装安装和

在YARN集群模式下运行SparkPi

在集群模式下运行SparkPi：

• CDH 5.2和更低

spark-submit --class org.apache.spark.examples.SparkPi --master yarn \
--deploy-mode cluster SPARK_HOME/examples/lib/spark-examples.jar 10


• CDH 5.3和更高

spark-submit --class org.apache.spark.examples.SparkPi --master yarn \
--deploy-mode cluster SPARK_HOME/lib/spark-examples.jar 10


该命令会打印状态，直到作业完成或您按下control-C。终止spark-submit 集群模式下的进程不会像在客户端模式下那样终止Spark应用程序。要监视正在运行的应用程序的状态，请运行yarn application -list.

在YARN客户端模式下运行SparkPi

在客户端模式下run SparkPi：

• CDH 5.2和更低

spark-submit --class org.apache.spark.examples.SparkPi --master yarn \
--deploy-mode client SPARK_HOME/examples/lib/spark-examples.jar 10


• CDH 5.3和更高

spark-submit --class org.apache.spark.examples.SparkPi --master yarn \
--deploy-mode client SPARK_HOME/lib/spark-examples.jar 10


在YARN集群模式下运行Python SparkPi

1. 解压缩Python示例存档：

sudo su gunzip SPARK_HOME/lib/python.tar.gz
sudo su tar xvf SPARK_HOME/lib/python.tar


1. run pi.py 文件：

spark-submit --master yarn --deploy-mode cluster SPARK_HOME/lib/pi.py 10


在YARN应用程序上配置Spark

除了spark-submit选项之外，在YARN上运行spark-submit的其他选项。

spark-submit on YARN Options

在初始安装期间，Cloudera Manager根据您的群集环境调整属性。

除了命令行选项外，还提供以下属性：

动态分配

动态分配允许Spark根据工作负载动态扩展分配给应用程序的集群资源。当启用动态分配并且Spark应用程序有待处理任务的积压时，它可以请求执行程序。当应用程序空闲时，其执行程序将被释放并可被其他应用程序获取。

从CDH 5.5开始，默认启用动态分配。动态分配属性描述了控制动态分配的属性。

如果你设置spark.dynamicAllocation.enabled 为false 或使用 &＃8211;num-executors 命令行参数或设置 spark.executor.instances 时，动态分配被禁用。有关动态分配如何工作的更多信息，请参阅资源分配策略。

当启用Spark动态资源分配时，所有资源都会分配给第一个可用的作业，导致后续应用程序排队。为了允许应用程序并行获取资源，将资源分配给池，在池中运行应用程序，并允许池中运行的应用程序被抢占。请参阅动态资源池。

如果您正在使用Spark Streaming，请参阅Spark Streaming和Dynamic Allocation中的建议。

动态分配属性

图片.png

优化非 CM 部署CDH中的YARN模式

在不由Cloudera Manager管理的CDH部署中，Spark每次（spark-submit）运行时都会将Spark程序集JAR文件复制到HDFS 。您可以通过执行以下任一操作来避免此复制：

• 设置 spark.yarn.jar 为 JAR的本地路径：local:/usr/lib/spark/lib/spark-assembly.jar. 。
• 上传JAR并配置JAR位置：
  1. 手动将Spark程序集JAR文件上传到HDFS：

$ hdfs dfs -mkdir -p /user/spark/share/lib
$ hdfs dfs -put SPARK_HOME/assembly/lib/spark-assembly_*.jar /user/spark/share/lib/spark-assembly.jar


每次将Spark升级到新的 CDH版本时，您都必须手动上载JAR。
2. 设置spark.yarn.jar 为 HDFS路径：

spark.yarn.jar=hdfs://namenode:8020/user/spark/share/lib/spark-assembly.jar