回顾IDEA开发SparkSQL基础编程

当前热门的开发编辑器当属 IDEA 了&＃xff0c;接下来介绍一下在该款开发工具中的使用。

首先我们需要为Spark-SQL模块导入依赖&＃xff1a;

<dependency>
<groupId>org.apache.sparkgroupId>
<artifactId>spark-sql_2.11artifactId>
<version>2.2.0version>
dependency>


在原有的pom.xml的基础上更新一下即可&＃xff01;(完整配置连接如下&＃xff0c;永久有效哦)&＃x1f60e;&＃x1f60e;&＃x1f60e;

提取连接&＃xff1a; https://pan.baidu.com/s/1o1px2DBN5AEWDtouxlUhRw
提取码&＃xff1a;eirr

2.1 构建环境

不同于spark-core&＃xff0c;在其基础之上&＃xff0c;spark-sql内置封装了新的入口SparkSession。起初&＃xff0c;SparkSQL创建了两个入口&＃xff1a;SQLContext、HiveContext。之后为了解决入口不统一的问题&＃xff0c;创建了一个新的入口节点 — SparkSession&＃xff0c;作为整个Spark生态工具的统一入口节点&＃xff0c;包括了SQLContext、HiveContext、SparkContext等组建的功能。

注意&＃xff1a;

• SparkSession的创建需要借助伴生类的Builder()进行创建&＃xff0c;因为原始的SparkSession是私有封装&＃xff0c;外部无法直接访问。
  

object Spark01_sql_test
def main(args: Array[String]): Unit &＃61;
// TODO: 创建sparkSession的运行环境
val conf &＃61; new SparkConf().setMaster("local[*]").setAppName("test")
val spark &＃61; new SparkSession.Builder().config(conf).getOrCreate()
// TODO:逻辑操作
......

// TODO:关闭资源
spark.stop()




返回顶部

2.2 DataFrame的创建

1、构建json数据文件

"username":"张三","age": 25,"sex":"男"
"username":"李四","age": 23,"sex":"男"
"username":"王五","age": 24,"sex":"女"
"username":"赵六","age": 22,"sex":"男"


2、获取数据

• 通过spark.read从文件中获取的数据集会被自动保存为DataFrame类型的数据。

val df: DataFrame &＃61; spark.read.json("data/user.json")
df.show()


3、SQL语法

• 在创建好数据的视图表之后&＃xff0c;直接使用spark.sql执行sql语句

println("************SQL*************")
// SQL
df.createOrReplaceGlobalTempView("user")
spark.sql("select * from global_temp.user").show()


4、DSL语法

• 使用spark封装的 sql 语法API进行具体操作
• 注意要导入隐式转换&＃xff1a;import spark.implicits._

println("************DSL*************")
// DSL
import spark.implicits._ // 隐式转换
df.select(&＃39;username,$"age",&＃39;sex).show()


返回顶部

2.3 DataSet的创建

// TODO:DataSet
val seq &＃61; Seq(1,2,3)
val ds &＃61; seq.toDS()
ds.show()


查看底层可以知道&＃xff1a;type DataFrame &＃61; Dataset[Row]&＃xff0c;也就是DataFrame是DataSet指定类型的一种数据对象&＃xff0c;所以DataFrame适用的方法DataSet也均适用。

返回顶部

2.4 RDD & DataFrame

// TODO:RDD <&＃61;> DataFrame
// 创建rdd
val rdd: RDD[(Int, String, Int)] &＃61; spark.sparkContext.makeRDD(
List(
(1,"zhangsan",30),(2,"lisi",25),(3,"wangwu",40)
)
)
// toDF 转为 DataFrame
val df: DataFrame &＃61; rdd.toDF("id","name","age")
df.show()
// df.rdd 转为 rdd&＃xff1a;RDD[Row]
val backRDD: RDD[Row] &＃61; df.rdd
backRDD.collect().foreach(println)


返回顶部

2.5 RDD & DataSet

// TODO:RDD <&＃61;> DataSet
// 创建RDD
val rdd: RDD[(Int, String, Int)] &＃61; spark.sparkContext.makeRDD(
List(
(1, "zhangsan", 30), (2, "lisi", 25), (3, "wangwu", 40)
)
)
// 转换RDD的数据类型
val mapRDD: RDD[user] &＃61; rdd.map
case (id, name, age) &＃61;>
user(id, name, age)


// toDS 转为 DataSet
val toDS: Dataset[user] &＃61; mapRDD.toDS()
toDS.show()
// ds.rdd 转为 rdd
val backRDD &＃61; toDS.rdd
backRDD.collect().foreach(println)


返回顶部

2.5 DataFrame & DataSet

• DataFrame 转换为 DataSet 需要给出明确的数据结构类型信息&＃xff0c;这里我们创建user样例类作为DataFrame的数据结构类型补充。

// 样例类
case class user(id:Int,username:String,age:Int)
// TODO:DataFrame <&＃61;> DataSet
val ds: Dataset[user] &＃61; df.as[user]
val backDF: DataFrame &＃61; ds.toDF()


返回顶部