热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

sparksql读取json数据并查询

2019独角兽企业重金招聘Python工程师标准packagecn.hhb.spark.sqlimportorg.apache.spark.sql.{DataFrame,SQ

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

package cn.hhb.spark.sqlimport org.apache.spark.sql.{DataFrame, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}/*** Created by Administrator on 2017/9/21 0021.*/
object TestSQLScala {def main(args: Array[String]) {val conf = new SparkConf().setAppName("TestSQLScala").setMaster("local").set("spark.testing.memory", "2147480000");val sc = new SparkContext(conf)val sqlContext = new SQLContext(sc)val students_df = sqlContext.read.json("c://students.json")// 打印所有数据students_df.showstudents_df.select("name", "age").showstudents_df.registerTempTable("students")sqlContext.sql("select * from students where age >= 18").show()sc.stop()}
}


转:https://my.oschina.net/hehongbo/blog/1555150



推荐阅读
author-avatar
Mr_维力_811
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有