无缝的缓存读取:双存储缓存策略

起

最近在做一个WEB的数据统计的优化&＃xff0c;但是由于数据量大&＃xff0c;执行一次SQL统计要比较长的时间&＃xff08;一般700ms算是正常&＃xff09;。

正常的做法只要加个缓存就好了。

但是同时业务要求此数据最多1分钟就要更新&＃xff0c;而且这一分种内数据可能会有较多变化&＃xff08;而且原系统不太易扩展&＃xff09;。

也就是说缓存1分钟就要失效重新统计&＃xff0c;而且用户访问这页还很是频繁&＃xff0c;如果使用一般缓存那么用户体验很差而且很容易造成超时。

 

承

看到以上需求&＃xff0c;第一个进入我大脑的就是从前做游戏时接触到的DDraw的双缓冲显示方式。

在第一帧显示的同时&＃xff0c;正在计算第二帧&＃xff0c;这样读取和计算就可以分开了&＃xff0c;也就避免了读取时计算&＃xff0c;提高了用户体验。

我想当然我们也可以将这种方式用于缓存的策略中&＃xff0c;但这样用空间换取时间的方式还是得权衡的&＃xff0c;因为并不是所有时候都值得这么做&＃xff0c;但这里我觉得这样做应该是最好的方式了。

注&＃xff1a;为了可以好好演示&＃xff0c;本篇中的缓存都以IEnumerable的形式来存储&＃xff0c;当然这个文中原理也可以应用在WebCache中。

这里我使用以下数据结构做为存储单元&＃xff1a;

namespace CHCache {///

/// 缓存介质///

public class Medium {///

/// 主要存储介质///

public object Primary { get; set; }///

/// 次要存储介质///

public object Secondary { get; set; }///

/// 是否正在使用主要存储///

public bool IsPrimary { get; set; }///

/// 是否正在更新///

public bool IsUpdating { get; set; }///

/// 是否更新完成///

public bool IsUpdated { get; set; }}
}

有了这个数据结构我们就可以将数据实现两份存储。再利用一些读写策略就可以实现上面我们讲的缓存方式。

转

整个的缓存我们使用如下缓存类来控制&＃xff1a;

/** http://www.cnblogs.com/chsword/* chsword* Date: 2009-3-31* Time: 17:00* */
using System;
using System.Collections;
using System.Collections.Generic;
using System.Threading;
namespace CHCache {///

/// 双存储的类///

public class DictionaryCache : IEnumerable {///

/// 在此缓存构造时初始化字典对象///

public DictionaryCache(){Store &＃61; new Dictionary<string, Medium>();}public void Add(string key,Func<object> func){if (Store.ContainsKey(key)) {//修改&＃xff0c;如果已经存在&＃xff0c;再次添加时则采用其它线程var elem &＃61; Store[key];if (elem.IsUpdating)return; //正在写入未命中var th &＃61; new ThreadHelper(elem, func);//ThreadHelper将在下文提及,是向其它线程传参用的var td &＃61; new Thread(th.Doit);td.Start();}else {//首次添加时可能也要读取&＃xff0c;所以要本线程执行Console.WriteLine("Begin first write");Store.Add(key, new Medium {IsPrimary &＃61; true, Primary &＃61; func()});Console.WriteLine("End first write");}}///

/// 读取时所用的索引///

/// /// public object this[string key] {get {if (!Store.ContainsKey(key))return null;var elem &＃61; Store[key];if (elem.IsUpdated) {//如果其它线程更新完毕&＃xff0c;则将主次转置elem.IsUpdated &＃61; false;elem.IsPrimary &＃61; !elem.IsPrimary;} var ret &＃61; elem.IsPrimary ? elem.Primary : elem.Secondary;var b &＃61; elem.IsPrimary ? " from 1" : " form 2";return ret &＃43; b;}}Dictionary<string, Medium> Store { get; set; }public IEnumerator GetEnumerator() {return ((IEnumerable)Store).GetEnumerator();}}
}

这里我只实现了插入一个缓存&＃xff0c;以及读取的方法。

我读取缓存单元的逻辑是这样的

 

从2个不同缓存读取当然是很容易了&＃xff0c;但是比较复杂的就是向缓存写入的过程&＃xff1a;

这里读取数据以及写入缓存时我使用了一个委托&＃xff0c;在其它线程中仅在需要执行时才会执行。

这里除了首次写入缓存占用主线程时间&＃xff08;读取要等待&＃xff09;以外&＃xff0c;其它时间都可以无延时的读取&＃xff0c;实现了无缝的缓存。

但我们在委托中要操作缓存的元素Medium,所以要传递参数进其它线程&＃xff0c;所以我这里使用了一个辅助类来传递参数进入其它线程&＃xff1a;

using System;
namespace CHCache {///

/// 一个线程Helper&＃xff0c;用于帮助多抛出线程时传递参数///

public class ThreadHelper {Func<object> Fun { get; set; }Medium Medium { get; set; }///

/// 通过构造函数来传递参数///

/// 缓存单元/// 读取数据的委托public ThreadHelper(Medium m,Func<object> fun) {Medium &＃61; m;Fun &＃61; fun;}///

/// 线程入口&＃xff0c;ThreadStart委托所对应的方法///

public void Doit(){Medium.IsUpdating &＃61; true;if (Medium.IsPrimary) {Console.WriteLine("Begin write to 2.");var ret &＃61; Fun.Invoke();Medium.Secondary &＃61; ret;Console.WriteLine("End write to 2.");}else {Console.WriteLine("Begin write to 1.");var ret &＃61; Fun.Invoke();Medium.Primary &＃61; ret;Console.WriteLine("End write to 1.");}Medium.IsUpdated &＃61; true;Medium.IsUpdating &＃61; false;}}
}

这样我们就实现了在另个线程读取数据的过程&＃xff0c;这样就在任何时候读取数据时都会无延时直接读取了。

结

最后我们写一个主函数来测试一下效果

/** http://www.cnblogs.com/chsword/* chsword* Date: 2009-3-31* Time: 16:53*/
using System;
using System.Threading;
namespace CHCache
{class Program{public static void Main(string[] args){var cache &＃61; new DictionaryCache();Console.WriteLine("Init...4s&＃xff0c;you can press the CTRL&＃43;C to close the console window.");while (true){cache.Add("1", GetValue);Thread.Sleep(1000);Console.WriteLine(cache["1"]);}}///

/// 获取数据的方法&＃xff0c;假设是从数据库读取的&＃xff0c;费时约4秒///

/// static object GetValue(){Thread.Sleep(4000);return DateTime.Now;}}
}

得到如下数据&＃xff1a;

这样就实现了平滑的读取缓存数据而没有任何等待时间

当然这里还有些问题&＃xff0c;比如说传递不同参数时的解决方法&＃xff0c;但是由于我仅是在一个统计时需要这种缓存提高性能&＃xff0c;所以暂没有考虑通用的传参方式。

如果大家对这个话题感兴趣&＃xff0c;欢迎讨论。

 

示例下载&＃xff1a;

 

Cat Chen一语提醒&＃xff0c;其实做缓存的提前加载没有必要使用2个缓存的&＃xff0c;于是将列子改了改&＃xff1a;无缝缓存读取简化&＃xff1a;仅Lambda表达式传递委托