理解Spark中SparkSQL模块DataSource中JSONFiles

Spark SQL可以自动推断JSON数据集的模式&＃xff0c;并将其作为数据集[Row]加载。 可以使用数据集[String]或JSON文件上的SparkSession.read.json&＃xff08;&＃xff09;完成此转换。

请注意&＃xff0c;作为json文件提供的文件不是典型的JSON文件。 每行必须包含一个单独的&＃xff0c;自包含的有效JSON对象。 有关更多信息&＃xff0c;请参阅JSON Lines文本格式&＃xff0c;也称为换行符分隔的JSON。

import spark.implicits._val path &＃61; "exampls/xxx.json"val peopleDF &＃61; spark.read.json(path)peopleDF.printSchema()peopleDF.createOrReplaceTempView("people")val teenagerNamesDF &＃61; spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19")
teenagerNamesDF.show()val otherPeopleDataset &＃61; spark.createDataset("""{"name":"Yin","address":{"city":"Columbus","state":"Ohio"}}""" :: Nil)val otherPeople &＃61; spark.read.json(otherPeopleDataset)otherPeople.show()