作者:红烧大青虫 | 来源:互联网 | 2023-01-22 12:47
如图所示,要处理的数据是一个json数组,而且非常大下图为电脑配置,使用json.load()方法加载上述json文件电脑直接卡死解决思路:先用python进行预处理,即一
如图所示,要处理的数据是一个json数组,而且非常大
下图为电脑配置,使用 json.load() 方法加载上述json文件电脑直接卡死
解决思路:
先用python进行预处理,即一整个json数据加载慢,那就分开加载,每次加载一个json对象,然后使用 json.dumps()方法 存储到txt中,方便读取。当然也可以存储到内存中,根据情况而定。
算法思想:因为 json 是一种结构化的数据,所以 {} 是成对存在的。因为使用逐行读取的方法读入json文件,所以根据 {} 的数量来判断是否读取了一个完整的json对象,如果是完整的,则使用 json.dumps()方法 存储到txt中。
getusefulldata(temp + line,id)这个方法是提取自己需要的数据
读取方法:
到此这篇关于python处理大型json文件的方法的文章就介绍到这了,更多相关python处理大型json文件内容请搜索<编程笔记>以前的文章或继续浏览下面的相关文章希望大家以后多多支持<编程笔记>!
需要了解更多python教程分享关于python处理大型json文件的方法,都可以关注python教程分享栏目&#8212;编程笔记