sqlite3速度太慢的解决办法

作者：手机用户2502855767 | 来源：互联网 | 2022-12-19 08:16

呵呵，我是自己没办法来求办法的。入正题，最近碰到一个项目，要用到内存数据库，然后对比之下选择了sqlite3，完成之后测试结果让我大失所望，速度太慢了，反复调试，发现慢就是慢

      呵呵，我是自己没办法来求办法的。
      入正题，最近碰到一个项目，要用到内存数据库，然后对比之下选择了sqlite3，完成之后测试结果让我大失所望，速度太慢了，反复调试，发现慢就是慢在一个对比逻辑过程，该过程是来一条数据，然后和以前相同ID的数据对比，如果有，更新，没有，插入。这样一条执行下来，居然要0.015s，这个速度太是了，我完全接受了不，因为我的数据来得很快，1s内少说也有接近10000条数据来，所以来此请教各位，有没有什么好的办法分享一下

        不要说用事物，因为我的模式是来一条数据就有查询，更新，新增和删除的，这情况下事物不起什么作用的


    在线等，非常感谢!

18 个解决方案

#1

sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。

#2

引用 1 楼的回复:

sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。

sqlite是可以建内存数据库的吧
你说的方法不行，因为来的每一条数据我都要判断一下，要不我都不知道这条数据到底是要插入还是更新的，所以不能批量

#3

引用 1 楼的回复:

sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。

额，看漏了，你是说更新和新增分离，我想过，不过这样也不太理想，因为每交的标准，都是以最新一条数据为准，如果把数据先缓存，那样业务逻辑会出错

#4

这个判断动作可以在内存中做。

#5

引用 4 楼的回复:

这个判断动作可以在内存中做。

就是在内存，我用的是sqlite内存模式，所有的操作都是在内存，但是结果还是太慢了

#6

你是select后再insert/update
还是直接replace into

如果不批量的操作，sqlite的插入操作速度是不算太快

#7

不知道用多个线程来做个如何？

#8

晕，你知不知道 SQLite 有 Replace into 这个语法?

#9

引用 6 楼的回复:

你是select后再insert/update
还是直接replace into

如果不批量的操作，sqlite的插入操作速度是不算太快

是先select后再insert,replace into 这个我还不知道，这个速度能有多快呢

#10

引用 7 楼的回复:

不知道用多个线程来做个如何？

线程也是一样的，因为是对同一个资源操作，用了线程就要加锁，加了锁其实时间还是一样的

#11

引用 8 楼的回复:

晕，你知不知道 SQLite 有 Replace into 这个语法?

确实不知道哈，现在研究一下

#12

Replace into

#13

先做事务在说

#14

考虑先把需要比较的数据放到内存或者文件，然后比较内存或者文件，插入的数据有需要比较的也放入内存或者文件，最好能排好序，这样就可以比较查询，二分法，很快。

#15

当然，插入肯定还是要用事物，把比较完了以后的insert语句集合起来，一起插入，这样就快多了。

#16

在不修改任何逻辑的情况下有一个办法可以帮助你提高性能，使用prepared statement 而不是使用简单的SQL语句执行。将statement 进行编译，保存编译后的statement, 每次来数据的时候通过sqlite3_bind_text16 来绑定参数构造一个完整的SQL命令。
SQLITE内部有一个虚拟机，在执行SQL语句时需要先编译成内部的命令码，这个编译过程还是很消耗时间的，所以尽量只编译一次，每次使用bind parameter的方式来执行。
参考API


sqlite3_prepare16_v2
sqlite3_bind_text
//其它prepare 和 bind 函数

#17

引用 12 楼 gongxujun 的回复:

Replace into

引用 16 楼 Fire_Lord 的回复:

在不修改任何逻辑的情况下有一个办法可以帮助你提高性能，使用prepared statement 而不是使用简单的SQL语句执行。将statement 进行编译，保存编译后的statement, 每次来数据的时候通过sqlite3_bind_text16 来绑定参数构造一个完整的SQL命令。
SQLITE内部有一个虚拟机，在执行SQL语句时需要先编译成内部的命令码，这个编译过程还是很消耗时间的，所以尽量只编译一次，每次使用bind parameter的方式来执行。
参考API
sqlite3_prepare16_v2
sqlite3_bind_text
//其它prepare 和 bind 函数

#18

如果需要保存在内存中完全不需要sqlite,用xml保存数据(其它任何格式都可以), 程序启动时读一下, 根据你的需要放在map或list里就可以了

推荐阅读

int
Java String与StringBuffer的区别及其应用场景

本文主要介绍了Java中String和StringBuffer的区别，String是不可变的，而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象，内存使用上要优于String类。因此，在需要频繁对字符串进行修改的情况下，使用StringBuffer更加适合。同时，文章还介绍了String和StringBuffer的应用场景。 ... [详细]

蜡笔小新 2023-12-13 19:21:06
int
iOS数据库Sqlite的SQL语句分类和常见约束关键字

本文介绍了iOS数据库Sqlite的SQL语句分类和常见约束关键字。SQL语句分为DDL、DML和DQL三种类型，其中DDL语句用于定义、删除和修改数据表，关键字包括create、drop和alter。常见约束关键字包括if not exists、if exists、primary key、autoincrement、not null和default。此外，还介绍了常见的数据库数据类型，包括integer、text和real。 ... [详细]

蜡笔小新 2023-12-12 18:42:03
int
Android 新闻App的本地服务器搭建教程

本文介绍了在开发Android新闻App时，搭建本地服务器的步骤。通过使用XAMPP软件，可以一键式搭建起开发环境，包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表，并设置相应的属性。最后，给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]

蜡笔小新 2023-12-14 17:15:19
select
如何限制php数据库链接数和连接超时时间？

本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目，以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数，以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]

蜡笔小新 2023-12-14 14:06:10
jsp
Hibernate基础映射

在说Hibernate映射前，我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象，以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]

蜡笔小新 2023-12-14 10:57:47
int
如何用UE4制作2D游戏文档——计算篇

篇首语：本文由编程笔记#小编为大家整理，主要介绍了如何用UE4制作2D游戏文档——计算篇相关的知识，希望对你有一定的参考价值。 ... [详细]

蜡笔小新 2023-12-14 09:50:34
version
Spring特性实现接口多类的动态调用详解

本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍，以及getBeansOfType方法的应用，解决了在实际工作中遇到的接口及多个实现类的问题。同时，文章还提到了SPI使用的不便之处，并介绍了借助ApplicationContext实现需求的方法。阅读本文，你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]

蜡笔小新 2023-12-14 03:24:19
go
Hyperledger Fabric外部链码构建与运行的开发笔记

本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识，包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性，外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍，读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行，并且不再受限于特定的语言和部署环境。 ... [详细]

蜡笔小新 2023-12-13 21:47:39
version
XML介绍与使用的概述及标签规则

本文介绍了XML的基本概念和用途，包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则，包括标签的尖括号和合法标识符的组成，标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读，读者可以对XML的基本知识有一个全面的了解。 ... [详细]

蜡笔小新 2023-12-13 17:39:50
go
VB.NET在线急等问题解决方法，如何统计数据库字段下的数据并显示在文本框里？

本文介绍了一个在线急等问题解决方法，即如何统计数据库中某个字段下的所有数据，并将结果显示在文本框里。作者提到了自己是一个菜鸟，希望能够得到帮助。作者使用的是ACCESS数据库，并且给出了一个例子，希望得到的结果是560。作者还提到自己已经尝试了使用"select sum(字段2) from 表名"的语句，得到的结果是650，但不知道如何得到560。希望能够得到解决方案。 ... [详细]

蜡笔小新 2023-12-13 15:15:30
js
flowable工作流流程变量_信也科技工作流平台的技术实践

1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下：目前OA流程引擎无法满足企业特定业务流程需求，且移动端体 ... [详细]

蜡笔小新 2023-12-13 10:17:15
select
关于Linq to sql 实现模糊查询 string数组

前景：当UI一个查询条件为多项选择，或录入多个条件的时候，比如查询所有名称里面包含以下动态条件，需要模糊查询里面每一项时比如是这样一个数组条件：newstring[]{兴业银行, ... [详细]

蜡笔小新 2023-12-13 09:34:59
version
MyBatis多表查询与动态SQL使用

本文介绍了MyBatis多表查询与动态SQL的使用方法，包括一对一查询和一对多查询。同时还介绍了动态SQL的使用，包括if标签、trim标签、where标签、set标签和foreach标签的用法。文章还提供了相关的配置信息和示例代码。 ... [详细]

蜡笔小新 2023-12-12 17:12:51
version
Oracle优化新常态的五大禁止及其性能隐患

本文介绍了Oracle优化新常态中的五大禁止措施，包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB，并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况，并提出了解决方案。 ... [详细]

蜡笔小新 2023-12-12 12:55:55
int
Oracle存储过程写法小例子及已命名的异常

本文介绍了Oracle存储过程的基本语法和写法示例，同时还介绍了已命名的系统异常的产生原因。 ... [详细]

蜡笔小新 2023-12-11 15:10:15

手机用户2502855767

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章