sparkpython编程_Spark（四）：python编程示例

下面以一个简单的例子&＃xff0c;介绍下如何用python编程&＃xff0c;并提交到yarn上执行。

环境准备

SparkContext是spark编程的基石&＃xff0c;后面的SqlConext等等都是基于SparkContext。它作为python的lib&＃xff0c;在pyspark库中提供&＃xff0c;同时它还依赖py4j&＃xff0c;所以我们要做的第一件事就是修改系统的python路径&＃xff0c;把它俩加进去&＃xff1a;

cd /usr/local/lib/python2.7/dist-packages/

echo "/home/ieevee/spark/spark-1.6.1-bin-hadoop2.6/python/" >> spark.pth

echo "/home/ieevee/spark/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip" >> spark.pth

上面的路径替换为你放spark的实际路径。

不推荐直接在./bin/pyspark来做处理&＃xff0c;它比较重&＃xff0c;并且掩盖了sc的创建过程。其实作为一个应用&＃xff0c;需要的只是pyspark库&＃xff0c;官方管这种叫做“self-contained”。

编码

我的例子非常简单&＃xff0c;将一个csv文件放到HDFS上&＃xff0c;计算下有多少行&＃xff0c;打印下第一行(官网的例子)。代码如下(1.py)&＃xff1a;

from pyspark import SparkContext

if __name__ &＃61;&＃61; "__main__":

sc &＃61; SparkContext(appName&＃61;"test1")

textFile &＃61; sc.textFile("/test.csv")

print textFile.count()

print textFile.first()

sc.stop()

集群上执行

生产环境上&＃xff0c;任务都是在YARN上执行的&＃xff0c;所以需要把这个任务submit上去&＃xff1a;

{your_spark_home}/bin/spark-submit --master yarn 1.py

在yarn上可以看到这个application的记录。当然需要先配置好YARN需要的配置文件&＃xff0c;具体可以参考第二篇文章中SPARK ON YARN部分。