Sqlite关于多线程的研究

研究流程

• 缓存需求
• 缓存场景多样化与缓存方案的统一
• 网络请求的多线程场景导致sqlite多线程问题
• sqlite多线程问题的解决方案
  
  • 单例（Singleton）或者sychronized——读读同步，读写同步，写写同步
  • 非单例（多读、一写）——读读并发，读写同步，写写同步
  • 非单例（多读，一写）——读读并发，读写并发，写写同步
  • 非单例（多读，多写）——读读并发，读写并发，写写并发
• Refer

一、缓存需求

最近对app进行优化，希望对所有的网络请求返回的json数据做缓存。

二、缓存场景多样化与缓存方案的统一

由于app使用的网络请求既有HttpClient，也有OkHttp和Volley等第三方网络框架，不同的第三方网络框架使用缓存的方式不同，HttpClient需要自行实现缓存，故统一采用将json数据缓存在sqlite数据库的解决方案。

三、网络请求的多线程场景导致sqlite多线程问题

由于网络请求存在多线程的情况，进而sqlite也必须处理多线程的情况。

四、sqlite多线程问题的解决方案

sqlite内部使用的是大粒度的文件锁，因此会有写并发问题。实际上sqlite支持多读单写。

1、单例（Singleton）或者sychronized——读读同步，读写同步，写写同步

使用此种方式处理大数据时会有性能问题，因为其是block的。而且必须注意数据库的释放时机，否则会报如下bug：

java.lang.IllegalStateException: Cannot perform this operation because the connection pool has been closed.
    at android.database.sqlite.SQLiteConnectionPool.throwIfClosedLocked(SQLiteConnectionPool.java:962)
    at android.database.sqlite.SQLiteConnectionPool.waitForConnection(SQLiteConnectionPool.java:599)
    at android.database.sqlite.SQLiteConnectionPool.acquireConnection(SQLiteConnectionPool.java:348)
    at android.database.sqlite.SQLiteSession.acquireConnection(SQLiteSession.java:894)

修复此bug的正确方式如下：

public class XXXDao {
    private AtomicInteger mOpenDBCounter = new AtomicInteger();

    private static XXXDao dao = null;
    private final XXXHelper helper;
    private SQLiteDatabase db;

    public XXXDao (Context context){
        helper = new XXXHelper (context);
    }

    public static synchronized XXXDao getInstance(Context context){
        if(dao == null){
            dao = new XXXDao (context);
        }
        return dao;
    }

    public synchronized SQLiteDatabase openWDatabase() {
        if(mOpenDBCounter.incrementAndGet() == 1) {
            // Opening new database
            if(null!=helper){
                db = helper.getWritableDatabase();
            }
        }
        return db;
    }
    public synchronized void closeDatabase() {
        if(mOpenDBCounter.decrementAndGet() == 0) {
            // Closing database
            db.close();
        }
    }
}

2、非单例（多读、一写）——读读并发，读写同步，写写同步

在数据库操作中只有add,delete,update会调用lock(),而query()是不会调用的，但是在加载数据时，调用了SQLiteQuery的fillWindow方法，而该方法依然会调用SQLiteDatabase.lock()，所以要想真正的实现多线程读数据库，只能每个线程使用各自的SQLiteOpenHelper对象进行读操作，这样就可避开同步锁。

3、非单例（多读，一写）——读读并发，读写并发，写写同步

实现多线程读写的关键是enableWriteAheadLogging属性，这个方法 API Level 11添加的，也就是所3.0以上的版本就基本不可能实现真正的多线程读写了。简单的说通过调用enableWriteAheadLogging()和disableWriteAheadLogging()可以控制该数据是否被运行多线程读写，如果允许，它将允许一个写线程与多个读线程同时在一个SQLiteDatabase上起作用。实现原理是写操作其实是在一个单独的log文件，读操作读的是原数据文件，是写操作开始之前的内容，从而互不影响。当写操作结束后读操作将察觉到新数据库的状态。但是如果没有并发读写需求，最好不要开启 WAL；因为会增大内存占用并可能对读写速度稍有影响。

4、非单例（多读，多写）——读读并发，读写并发，写写并发

SQLite不支持写写并发，如果实在有需求可以使用多个数据库文件，即将不同表放在不同的数据库中。

五、Refer

1. http://blog.csdn.net/u014790610/article/details/50451117
2. http://www.cnblogs.com/wangmars/p/4530670.html
3. http://linzimo777.blog.51cto.com/5334766/1544202
4. http://www.tuicool.com/articles/UfEJjuu