作者:手机用户2502877341 | 来源:互联网 | 2023-05-17 06:10
在SQL中,insertmany的操作可能会出现插入数据量过大的问题。印象中MySQLDriver对insert语句的buffer有一个大小限制。超过这个限制的数据可能会被丢弃?-->
在SQL中,insert many的操作可能会出现插入数据量过大的问题。
印象中MySQL Driver对insert语句的buffer有一个大小限制。超过这个限制的数据可能会被丢弃? -- > 待考
不过使用pyMongo做insert_many并不会存在这个问题,因为pyMongo在实现BulkWrite操作时,已经自动将数据划分成小块进行插入,避免插入数据过大的问题。
具体可看pyMongo对BulkWrite做的说明:http://api.mongodb.com/python/current/examples/bulk.html
在网上看到有人将数据分块后进行循环插入,即:
bf = []
for item in data:
bf.append(item)
if len(bf) == 20000:
.insert_many(bf)
bf =[]
我不确定MongoDB本身在提供Driver API的时候有没有考虑buffer过大的处理问题。
不过如果使用pyMongo来连接Mongo的话,上面的步骤是多余的。