spark提交命令详解

本片文章主要结合官网的提交说明进行&＃xff0c;详情请看http://spark.apache.org/docs/latest/submitting-applications.html
./bin/spark-submit \--class --master \--deploy-mode \--conf &＃61; \... # other options \[application-arguments]
                          标准格式

spark通过命令行来提交&＃xff0c;其中一些参数可以在程序中进行指定

/home/tong/installDirectory/spark-1.4.0-bin-hadoop2.6/bin/spark-submit //提交命令位置的指定

--class com.cloudera.streamDemo.StreamingErrorCount //这个参数可以进行指定jar包的入口位置,不是物理位置

--master spark://spark1:7077 //指定spark执行的master和端口号&＃xff0c;可以在程序中SparkConf中进行指定

target/streamDemo-1.0-SNAPSHOT.jar //编译好jar包的位置

/spark/streamData.txt 1//最后的参数为程序执行过程中需要的文件&＃xff0c;这里指定的为hdfs中的文件位置&＃xff0c;指定参数

其他的一些参数还有&＃xff1a;

--conf可以以key&＃61;value的形式进行spark提交过程中的任意参数的指定&＃xff0c;例如执行的核数&＃xff0c;执行的存储空间等等。

--deploy-mode可以部署你的驱动在工作节点上&＃xff08;cluster&＃xff09;或者是作为外部客户端部署在本地&＃xff08;client&＃xff09;。一种普遍的部署策略是从一台在物理上依赖于你的集群worker节点的网关&＃xff08;入口&＃xff09;机器来提交你的应用。在这种模式下&＃xff0c;client模式是更为合适的&＃xff0c;在client模式中&＃xff0c;提交过程&＃xff08;submit process&＃xff09;被当做集群中的一个client&＃xff0c;驱动在submit下被直接发送&＃xff0c;应用的输入输出被显在控制台&＃xff0c;这种模式对于那种涉及到REPL的应用是比较合适的&＃xff0c;例如spark-shell下。

此外&＃xff0c;如果你的应用是从一台距离你的工作节点很远的机器上提交的&＃xff0c;例如你本地的笔记本&＃xff0c;那么使用cluster模式是非常普遍的&＃xff0c;这种模式可以降低在驱动&＃xff08;drivers&＃xff09;和具体执行机器的中间的网络延迟&＃xff0c;特别注意的是&＃xff0c;cluster模式当前对于mesos集群是并不支持的。当前仅仅是yarn对于Python应用支持cluster模式。在standalone的cluster模式下&＃xff0c;可以指定--supervise参数来确保如果驱动以非0退出码失败的时候&＃xff0c;他可以确保驱动的自动重启。当然还可以在submit下指定其他的参数&＃xff0c;都是比较简单的。下面是一些事例。

# Run application locally on 8 cores
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master local[8] \/path/to/examples.jar \100# Run on a Spark Standalone cluster in client deploy mode
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://207.184.161.138:7077 \--executor-memory 20G \--total-executor-cores 100 \/path/to/examples.jar \1000# Run on a Spark Standalone cluster in cluster deploy mode with supervise
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://207.184.161.138:7077 \--deploy-mode cluster--supervise--executor-memory 20G \--total-executor-cores 100 \/path/to/examples.jar \1000# Run on a YARN cluster
export HADOOP_CONF_DIR&＃61;XXX
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn-cluster \ # can also be &＃96;yarn-client&＃96; for client mode--executor-memory 20G \--num-executors 50 \/path/to/examples.jar \1000# Run a Python application on a Spark Standalone cluster
./bin/spark-submit \--master spark://207.184.161.138:7077 \examples/src/main/python/pi.py \1000