Spark读写parquet

Spark的parquet介绍

• 列式存储布局可加速查询&＃xff0c;只检查需要的列并对执行计算&＃xff0c;也就是只读取一个数据文件或表的小部分数据。
• Parquet 支持灵活的压缩选项&＃xff0c;可以显著减少磁盘上的存储。
• 转换需要时间&＃xff0c;时间长了一些。
• 查询性能的提升在某些情况下可能达到 30 倍或更高&＃xff0c;存储的节省可高达 75%。

如果在 HDFS 上拥有基于文本的数据文件或表&＃xff0c;而且正在使用 Spark SQL 对它们执行查询&＃xff0c;那么强烈推荐将文本数据文件转换为 Parquet 数据文件&＃xff0c;以实现性能和存储收益。

1. 读取parquet

dtParquet &＃61; spark.read.parquet("sp路径")
dtParquet.show(5)


可以直接read一个parquet文件&＃xff0c;就转成了dataframe。因为parquet文件里有比较丰富的信息&＃xff0c;不像普通的文件。所以推荐是把其他文件的格式&＃xff0c;清洗后转换成parquet数据格式。

2. 转成 parquet 文件再读

# SAMPLE 10% OF DATA, SPLIT INTO TRAIINING AND VALIDATION AND SAVE IN BLOB
dfSampled &＃61; df.sample(False, 0.1, seed&＃61;123)
dfSampled.repartition(10).write.mode("overwrite").parquet("sp路径")
dtParquet &＃61; spark.read.parquet("sp路径")
dtParquet.show(5)


参考&＃xff1a;spark 读取parquet