Spark1.0新特性>SparkSQL

val sc: SparkContext // 已经存在的SparkContext
val sqlCOntext= new org.apache.spark.sql.SQLContext(sc)

import sqlContext._

val sqlCOntext= new org.apache.spark.sql.SQLContext(sc)
import sqlContext._

// case class在Scala 2.10里面最多支持22个列，，为了突破这个现实，最好是定义一个类实现Product接口
case class Person(name: String, age: Int)

// 为Person的对象创建一个RDD，然后注册成一张表
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
people.registerAsTable("people")

// 直接写sql吧，这个方法是sqlContext提供的
val teenagers = sql("SELECT name FROM people WHERE age >= 13 AND age <= 19")

// teenagers是SchemaRDDs类型，它支持所有普通的RDD操作
teenagers.map(t => "Name: " + t(0)).collect().foreach(println)

val sqlCOntext= new org.apache.spark.sql.SQLContext(sc)
import sqlContext._

val people: RDD[Person] = ... // 同上面的例子.

// 这个RDD已经隐式转换成一个SchemaRDD, 允许它存储成Parquet格式.
people.saveAsParquetFile("people.parquet")

// 从上面创建的文件里面读取，加载一个Parquet文件的结果也是一种JavaSchemaRDD.
val parquetFile = sqlContext.parquetFile("people.parquet")

//注册成表，然后使用
parquetFile.registerAsTable("parquetFile")
val teenagers = sql("SELECT name FROM parquetFile WHERE age >= 13 AND age <= 19")
teenagers.collect().foreach(println)

val sqlCOntext= new org.apache.spark.sql.SQLContext(sc)
import sqlContext._
val people: RDD[Person] = ... // 同前面的例子.

// 和后面这个语句是一样的 ‘SELECT name FROM people WHERE age >= 10 AND age <= 19‘
val teenagers = people.where(‘age >= 10).where(‘age <= 19).select(‘name)

val sc: SparkContext // 已经存在的SparkContext
val hiveCOntext= new org.apache.spark.sql.hive.HiveContext(sc)

// 引入这个Context，然后就会给所有的sql语句进行隐式转换
import hiveContext._

hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
hql("LOAD DATA LOCAL INPATH ‘examples/src/main/resources/kv1.txt‘ INTO TABLE src")

// 使用HiveQL查询
hql("FROM src SELECT key, value").collect().foreach(println)