spark任务shell运行_Spark入门详解——3

yarn 模式

Spark-shell 现在还不支持 Yarn 模式&＃xff0c;使用 Yarn 模式运行&＃xff0c;需要把 Spark 程序全部打包成一个jar 包提交到 Yarn 上运行。目录只有 branch-0.8 版本才真正支持 Yarn。以 Yarn 模式运行 Spark。

下载 Spark 代码.

cd spark

git checkout -b yarn --track origin/yarn

切换到 branch-0.8

cd spark

git checkout -b yarn --track origin/yarn

使用 sbt 编译 Spark 并

$SPARK_HOME/sbt/sbt

> package

> assembly

把 Hadoop yarn 配置 copy 到 conf 目录下

运行测试

SPARK_JAR&＃61;./core/target/scala-2.9.3/spark-core-assembly-0.8.0-SNAPSHOT.jar

./run spark.deploy.yarn.Client --jar examples/target/scala-2.9.3/

--class spark.examples.SparkPi --args yarn-standalone

使用 Spark-shell

Spark-shell 使用很简单&＃xff0c;当 Spark 以 Standalon 模式运行后&＃xff0c;使用$SPARK_HOME/spark-shell进入 shell 即可&＃xff0c;在 Spark-shell 中 SparkContext 已经创建好了&＃xff0c;实例名为 sc 可以直接使用&＃xff0c;还有一个需要注意的是&＃xff0c;在 Standalone 模式下&＃xff0c; Spark 默认使用的调度器的 FIFO 调度器而不是公平调度&＃xff0c;而 Spark-shell 作为一个 Spark 程序一直运行在 Spark 上&＃xff0c;其它的 Spark 程序就只能排队等待&＃xff0c;也就是说同一时间只能有一个 Spark-shell 在运行。

在 Spark-shell 上写程序非常简单&＃xff0c;就像在 Scala Shell 上写程序一样。

scala> val textFile &＃61; sc.textFile("hdfs://hadoop1:2323/user/data")

textFile: spark.RDD[String] &＃61; spark.MappedRDD&＃64;2ee9b6e3

scala> textFile.count() // Number of items in this RDD

res0: Long &＃61; 21374

scala> textFile.first() // First item in this RDD

res1: String &＃61; # Spark

编写 Driver 程序

在 Spark 中 Spark 程序称为 Driver 程序&＃xff0c;编写 Driver 程序很简单几乎与在 Spark-shell 上写程序是一样的&＃xff0c;不同的地方就是 SparkContext 需要自己创建。如 WorkCount 程序如下&＃xff1a;

import spark.SparkContext

import SparkContext._

object WordCount {

def main(args: Array[String]) {

if (args.length &＃61;&＃61;0 ){

println("usage is org.test.WordCount ")

}

println("the args: ")

args.foreach(println)

val hdfsPath &＃61; "hdfs://hadoop1:8020"

// create the SparkContext&＃xff0c; args(0)由 yarn 传入 appMaster 地址

val sc &＃61; new SparkContext(args(0), "WrodCount