使用MysQL插入千万级别的数据,如果使用单条的插入,在时间性能上肯定会让人怀疑人生。这里为了学习,收集了网上几个对于MySQL插入大数据量的博客,以便自己后面的学习。
1、MYSQL批量插入数据库实现语句性能分析
2、Mysql千万级别数据批量插入只需简单三步
3、关于批量插入数据之我见(100万级别的数据,mysql)
4、Mysql大量数据快速导入导出
Python中对于数据库操作会有用到MySQLdb,里面有包含一个批量处理方法 executemany(),利用这种方法也可以达到对数据库进行大数据量插入操作。
可以参考:
Python MySQLdb 循环插入execute与批量插入executemany性能分析