前言
数据分析常用的数据格式无非就是json&＃xff0c;txt&＃xff0c;csv&＃xff0c;excel 或者是数据库文件&＃xff0c;他们各有所长。其中用处最广泛的应属于csv&＃xff0c;因为它轻量&＃xff0c;占用的空间相比于excel会小很多。它的可读性也不错&＃xff0c;相比于txt 更适合数据分析&＃xff0c;尤其是基于pandas的数据分析。
今天我们推荐一个日常中&＃xff0c;小众但是很实用的文件格式 --Feather&＃xff0c;一句话定位它&＃xff1a;高速读写压缩二进制文件。
Feather 介绍
Feather 其实是Apache Arrow 项目中包含的一种数据格式&＃xff0c;但是由于其优异的性能&＃xff0c;该文件格式也被单独打包&＃xff0c;放在pip中进行安装。Pandas 也支持对Feather的读写&＃xff0c;所以只需安装pandas即可。
官方介绍Feather是一款高速&＃xff0c;轻量&＃xff0c;易于使用的二进制文件格式&＃xff0c;用于保存数据。它在设计时尽可能让API函数简单&＃xff0c;而且优化了读写速度。
官方链接&＃xff1a;Feather File Format
Pandas保存Feather 格式
秉承Feather的设计原则&＃xff0c;Pandas 对于Feather的读写也保持API函数极简。Pandas 中写Feather 只有一个函数&＃xff1a;
DataFrame.to_feather(**kwargs)
参数主要的有三个&＃xff1a;
- path&＃xff1a; 需要保存的Feather文件路径
- compression&＃xff1a; 是否压缩&＃xff0c;以及如何压缩&＃xff0c;支持{&＃39;zstd&＃39;, &＃39;uncompressed&＃39;, &＃39;lz4&＃39;} 三个选项
- compression_level&＃xff1a;压缩水平&＃xff0c;注意lz4 不支持该参数
我们采用Uber数据集来进行测试。调用to_feather 函数将读取的dataframe保存为feather文件。这里我们采用不同的压缩格式进行保存。
import pandas as pd
import os
import time
csv_file &＃61; &＃39;uber_raw.csv&＃39;
csv_df &＃61; pd.read_csv(csv_file)
feather_file &＃61; &＃39;uber.feather&＃39;
csv_df.to_feather(feather_file)# save df to feather
compressed_file &＃61; &＃39;compressed.feather&＃39;
csv_df.to_feather(compressed_file,compression &＃61;&＃39;zstd&＃39;,compression_level &＃61;2)
我们通过os 来获取文件的大小&＃xff0c;并且对比原始文件计算压缩率。
print_file_size(csv_file)
print_file_size(feather_file)
print_file_size(compressed_file)
standard_ratio &＃61; os.stat(feather_file).st_size/os.stat(csv_file).st_size
print(f&＃39;standard feather compression ratio is {standard_ratio*100 :.1f}%&＃39;)
non_standard_ratio &＃61; os.stat(compressed_file).st_size/os.stat(csv_file).st_size
print(f&＃39;non_standard feather compression ratio is {non_standard_ratio*100 :.1f}%&＃39;)
结果如下。 可以看到Feather相比于csv文件&＃xff0c;占用的容量显著减少&＃xff0c;压缩率可以达到22% 左右&＃xff08;压缩率越小越好&＃xff09;。
[uber_raw.csv] file size is 45.34 MB
[uber.feather] file size is 16.07 MB
[compressed.feather] file size is 10.30 MB
standard feather compression ratio is 35.4%
non_standard feather compression ratio is 22.7%
Feather文件读取性能测试
Pandas 读取Feather文件也很简单&＃xff0c;read_feather即可。位置参数为文件的路径&＃xff0c;可选参数columns用于指定需要读取哪些列。
pandas.read_feather(path, columns&＃61;None, use_threads&＃61;True)
Feather可以显著压缩文件&＃xff0c;压缩后的文件读取是否会慢呢&＃xff1f;是否需要先解压呢&＃xff1f;我们同样将csv和Feather进行读取性能测试。代码很简单&＃xff0c;多次读取&＃xff0c;比如20次&＃xff0c;然后统计每次读取的耗时。
start_epco &＃61; time.time()
n_loops &＃61; 20
for i in range(n_loops):csv_df &＃61; pd.read_csv(csv_file)
csv_time_usage &＃61; (time.time() - start_epco)/n_loops
print(f&＃39;csv file read time usage is {csv_time_usage :.2f} s&＃39;)start_epco &＃61; time.time()
n_loops &＃61; 20
for i in range(n_loops):feather_df &＃61; pd.read_feather(feather_file)
f_time_usage &＃61; (time.time() - start_epco)/n_loops
print(f&＃39;feather file read time usage is {f_time_usage :.2f} s&＃39;)
print(f&＃39;feather time usage / csv time usage &＃61; {f_time_usage/csv_time_usage*100 :.1f}%&＃39;)
对比结果如下&＃xff0c;我们可以看到&＃xff0c;Feather的读取耗时不到csv的耗时的1/3。
csv file read time usage is 0.54 s
feather file read time usage is 0.15 s
feather time usage / csv time usage &＃61; 28.5%
Feather的正确用途
可以看到&＃xff0c;Feather 相比于csv在性能上有明显的优势&＃xff1a;
- 它适合于中型数据&＃xff08;GB为单位的数据&＃xff09;&＃xff0c;比如4GB的csv文件&＃xff0c;可能只占用700M feather 文件&＃xff0c;亲测
- 读写速度远胜于csv&＃xff0c;而且相比于数据库又具有便携的优势&＃xff0c;可以作为很好的中间媒介来传输数据&＃xff0c;比如从某个大型数据库中导出部分数据&＃xff0c;这也是我常用的方式。
- 类似于csv&＃xff0c;Feather也支持从源文件中仅仅读取所需的列&＃xff0c;这样可以减少内存的使用。这对于中型数据&＃xff08;GB)分析是非常有用的。比如本文中的案例&＃xff0c;可以仅仅读取前三列数据。
partial_df &＃61; pd.read_feather(path&＃61;feather_file,columns&＃61;["Date/Time","Lat","Lon"])
缺点嘛&＃xff0c;作者在发布V1时&＃xff0c;不建议将Feather作为长期的保存格式&＃xff0c;因为他觉得以后功能更会有变换&＃xff0c;但是目前feather已经更新到V2版本&＃xff0c;依然很稳定。
综上所述&＃xff0c;Feather 值得一试&＃xff0c;尤其是项目实践中作为中间载体。
京公网安备 11010802041100号