spark提交python程序_Spark提交任务

Spark 提交任务的方式可以通过 Python 代码提交&＃xff0c;也可以通过 shell 脚本提交&＃xff0c;通过 Python 提交的方式在前面也已经使用过&＃xff0c;这些就单独讲一下 shell 提交的方式

zip dependency.zip -r src/

if [[ $&＃64; &＃61;&＃61; *&＃39;yarn&＃39;* ]]

then

mode&＃61;yarn

else

mode&＃61;local

fi

echo $mode

if [[ $mode &＃61;&＃61; &＃39;yarn&＃39; ]]

then

spark-submit \

--name hive_field_check&＃64;huzhuo \

--master yarn \

--py-files dependency.zip \

--queue aisearchOffline \

--executor-cores 4 \

--num-executors 100 \

--executor-memory 4G \

--conf spark.default.parallelism&＃61;1200 \

--conf spark.storage.memoryFraction&＃61;0.6 \

--conf spark.sql.shuffle.partitions&＃61;400 \

--conf spark.shuffle.memoryFraction&＃61;0.3 \

--conf spark.network.timeout&＃61;800 \

--conf spark.yarn.executor.memoryOverhead&＃61;2048 \

--conf spark.storage.blockManagerTimeoutIntervalMs&＃61;100000 \

--conf spark.speculation&＃61;true \

--conf spark.driver.maxResultSize&＃61;0 \

--conf spark.yarn.dist.archives&＃61;hdfs目录/python.zip#python \

--conf spark.executorEnv.PYSPARK_DRIVER_PYTHON&＃61;python/bin/python2.7 \

--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON&＃61;python/bin/python2.7 \

--conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON&＃61;python/bin/python2.7 \

src/empty_field_stat.py $&＃64;

elif [[ $mode &＃61;&＃61; &＃39;local&＃39; ]]

then

spark-submit \

--master local[8] \

--py-files dependency.zip \

--conf spark.pyspark.python&＃61;/home/work/software/python \

src/empty_field_stat.py

fi

这里注意的几个点&＃xff1a;需要将程序中所有依赖的自定义 Python 文件一同打包上传到 HDFS 上&＃xff0c;否则运行的时候回提示缺少依赖

本地化和集群运行最好都指定 Python 的解释器目录&＃xff0c;以免运行的时候出现依赖问题