作者：mobiledu2502884677 | 来源：互联网 | 2023-08-04 10:11
本文由编程笔记#小编为大家整理，主要介绍了Spark——spark应用程序的执行命令相关的知识，希望对你有一定的参考价值。
用于提交spark jar
Usage: spark-submit [option] [app option]
Options:
--master Master_URL |
spark://host:port, mesos://host:port,yarn,or local |
--deploy-mode DEPLOY_MODE |
driver运行之处，client运行在本机，cluster运行在集群 |
--class CLASS_NAME |
应用程序包的要运行的class |
--name NAME |
应用程序名称 |
--jars JARS |
用逗号隔开的driver本地jar包列表以及executor类路径 |
--py-files PY_FILES |
用逗号隔开的放在python应用程序PYTHON PATH的.zip,.py文件列表 |
--packages |
包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标 |
--exclude-packages |
为了避免冲突 而指定不包含的 package |
--repositories |
远程 repository |
-conf PROP=VALUE |
指定 spark 配置属性的值， 例如 -conf spark.executor.extraJavaOptiOns="-XX:MaxPermSize=256m" |
--files Files |
用逗号隔开的要放置在每个executor工作目录的文件列表 |
--properties-file FILE |
设置应用程序属性的文件放置位置，默认是conf/spark-defaults.conf |
--driver-memory MEM |
driver内存大小，默认512M |
--driver-java-options |
driver的java选项 |
--driver-library-path |
driver的库路径 Extra library path entries to pass to the driver |
--driver-class-path |
driver的类路径，用--jars添加的jar包会自动包含在类路径里 |
--driver-cores |
Driver 的核数，默认是1。在 yarn 或者 standalone 下使用 |
--executor-memory MEM |
executor内存大小，默认1G |
--total-executor-cores |
所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用 |
--num-executors |
启动的 executor 数量。默认为2。在 yarn 下使用 |
--executor-core |
每个 executor 的核数。在yarn或者standalone下使用 |
--queue QUEUE_NAME |
提交应用程序给那个YARN的队列，默认是Default队列 |
--archives ARCHIVES |
被每个executor提取到工作目录的档案列表，用逗号隔开 |
参数不固定，应该根据自己集群的情况来设置合理的参数。下面举一个常用的具体例子
以下是一份spark-submit命令的示例，大家可以参考一下，并根据自己的实际情况进行调节：
./bin/spark-submit \
--master yarn-cluster \
--num-executors 100 \
--executor-memory 6G \
--executor-cores 4 \
--driver-memory 1G \
--conf spark.default.parallelism=1000 \
--conf spark.storage.memoryFraction=0.5 \
--conf spark.shuffle.memoryFraction=0.3 \
京公网安备 11010802041100号