Java:Memcachedmemcached实现内存缓存

Memcached是danga.com&＃xff08;运营LiveJournal的技术团队&＃xff09;开发的一套分布式内存对象缓存系统&＃xff0c;用于在动态系统中减少数据库负载&＃xff0c;提升性能。LJ每秒动态页面访问量几千次&＃xff0c;用户700万。Memcached将数据库负载大幅度降低&＃xff0c;更好的分配资源&＃xff0c;更快速访问。

    关于这个东西&＃xff0c;相信很多人都用过&＃xff0c;本文意在通过对memcached的实现及代码分析&＃xff0c;获得对这个出色的开源软件更深入的了解&＃xff0c;并可以根据我们的需要对其进行更进一步的优化。末了将通过对BSM_Memcache扩展的分析&＃xff0c;加深对 memcached的使用方式理解。。

1.Memcached是什么

在阐述这个问题之前&＃xff0c;我们首先要清楚它“不是什么”。很多人把它当作和SharedMemory那种形式的存储载体来使用&＃xff0c;虽然memcached使用了同样的“Key&＃61;>Value”方式组织数据&＃xff0c;但是它和共享内存、APC等本地缓存有非常大的区别。Memcached是分布式的&＃xff0c;也就是说它不是本地的。它基于网络连接&＃xff08;当然它也可以使用localhost&＃xff09;方式完成服务&＃xff0c;本身它是一个独立于应用的程序或守护进程&＃xff08;Daemon方式&＃xff09;。即Memcached是高性能的&＃xff0c;分布式的内存对象缓存系统&＃xff0c;用于在动态应用中减少数据库负载&＃xff0c;提升访问速度。

Memcached 使用libevent库实现网络连接服务&＃xff0c;理论上可以处理无限多的连接&＃xff0c;但是它和Apache不同&＃xff0c;它更多的时候是面向稳定的持续连接的&＃xff0c;所以它实际的并发能力是有限制的。在保守情况下memcached的最大同时连接数为200&＃xff0c;这和Linux线程能力有关系&＃xff0c;这个数值是可以调整的。关于 libevent可以参考相关文档。 Memcached内存使用方式也和APC不同。APC是基于共享内存和MMAP的&＃xff0c;memcachd有自己的内存分配算法和管理方式&＃xff0c;它和共享内存没有关系&＃xff0c;也没有共享内存的限制&＃xff0c;通常情况下&＃xff0c;每个memcached进程可以管理2GB的内存空间&＃xff0c;如果需要更多的空间&＃xff0c;可以增加进程数。

2. Memcached适合什么场合

在很多时候&＃xff0c;memcached都被滥用了&＃xff0c;这当然少不了对它的抱怨。我经常在论坛上看见有人发贴&＃xff0c;类似于“如何提高效率”&＃xff0c;回复是“用memcached”&＃xff0c;至于怎么用&＃xff0c;用在哪里&＃xff0c;用来干什么一句没有。memcached不是万能的&＃xff0c;它也不是适用在所有场合。

Memcached 是“分布式”的内存对象缓存系统&＃xff0c;那么就是说&＃xff0c;那些不需要“分布”的&＃xff0c;不需要共享的&＃xff0c;或者干脆规模小到只有一台服务器的应用&＃xff0c; memcached不会带来任何好处&＃xff0c;相反还会拖慢系统效率&＃xff0c;因为网络连接同样需要资源&＃xff0c;即使是UNIX本地连接也一样。在我之前的测试数据中显示&＃xff0c; memcached本地读写速度要比直接PHP内存数组慢几十倍&＃xff0c;而APC、共享内存方式都和直接数组差不多。可见&＃xff0c;如果只是本地级缓存&＃xff0c;使用 memcached是非常不划算的。

 Memcached在很多时候都是作为数据库前端cache使用的。因为它比数据库少了很多SQL解析、磁盘操作等开销&＃xff0c;而且它是使用内存来管理数据的&＃xff0c;所以它可以提供比直接读取数据库更好的性能&＃xff0c;在大型系统中&＃xff0c;访问同样的数据是很频繁的&＃xff0c; memcached可以大大降低数据库压力&＃xff0c;使系统执行效率提升。另外&＃xff0c;memcached也经常作为服务器之间数据共享的储媒介&＃xff0c;例如在SSO系统中保存系统单点登陆状态的数据就可以保存在memcached中&＃xff0c;被多个应用共享。

需要注意的是&＃xff0c;memcached使用内存管理数据&＃xff0c;所以它是易失的&＃xff0c;当服务器重启&＃xff0c;或者memcached进程中止&＃xff0c;数据便会丢失&＃xff0c;所以 memcached不能用来持久保存数据。很多人的错误理解&＃xff0c;memcached的性能非常好&＃xff0c;好到了内存和硬盘的对比程度&＃xff0c;其实memcached使用内存并不会得到成百上千的读写速度提高&＃xff0c;它的实际瓶颈在于网络连接&＃xff0c;它和使用磁盘的数据库系统相比&＃xff0c;好处在于它本身非常“轻”&＃xff0c;因为没有过多的开销和直接的读写方式&＃xff0c;它可以轻松应付非常大的数据交换量&＃xff0c;所以经常会出现两条千兆网络带宽都满负荷了&＃xff0c;memcached进程本身并不占用多少CPU资源的情况。

通常的网页缓存方式有动态缓存和静态缓存等几种&＃xff0c;在ASP.NET中已经可以实现对页面局部进行缓存&＃xff0c;而使用memcached的缓存比 ASP.NET的局部缓存更加灵活&＃xff0c;可以缓存任意的对象&＃xff0c;不管是否在页面上输出。而memcached最大的优点是可以分布式的部署&＃xff0c;这对于大规模应用来说也是必不可少的要求。

LiveJournal.com使用了memcached在前端进行缓存&＃xff0c;取得了良好的效果&＃xff0c;而像wikipedia,sourceforge等也采用了或即将采用memcached作为缓存工具。memcached可以大规模网站应用发挥巨大的作用。

2.1 memcached 的工作原理

首先 memcached 是以守护程序方式运行于一个或多个服务器中&＃xff0c;随时接受客户端的连接操作&＃xff0c;客户端可以由各种语言编写&＃xff0c;目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客户端在与 memcached 服务建立连接之后&＃xff0c;接下来的事情就是存取对象了&＃xff0c;每个被存取的对象都有一个唯一的标识符 key&＃xff0c;存取操作均通过这个 key 进行&＃xff0c;保存到 memcached 中的对象实际上是放置内存中的&＃xff0c;并不是保存在 cache 文件中的&＃xff0c;这也是为什么 memcached 能够如此高效快速的原因。注意&＃xff0c;这些对象并不是持久的&＃xff0c;服务停止之后&＃xff0c;里边的数据就会丢失。

.2  memcached 安装

首先是下载 memcached 了&＃xff0c;目前最新版本是 1.1.12&＃xff0c;直接从官方网站即可下载到 memcached-1.1.12.tar.gz。除此之外&＃xff0c;memcached 用到了 libevent&＃xff0c;我下载的是 libevent-1.1a.tar.gz

接下来是分别将 libevent-1.1a.tar.gz 和 memcached-1.1.12.tar.gz 解开包、编译、安装&＃xff1a;

# tar -xzf libevent-1.1a.tar.gz
# cd libevent-1.1a
# ./configure --prefix&＃61;/usr
# make
# make install
# cd ..
# tar -xzf memcached-1.1.12.tar.gz
# cd memcached-1.1.12
# ./configure --prefix&＃61;/usr
# make
# make install

安装完成之后&＃xff0c;memcached 应该在 /usr/bin/memcached。

3.如何使用memcached-Server端?

在服务端运行&＃xff1a;

# ./memcached -d -m 2048 -l 10.0.0.40 -p 11211  -u httpd

 
-d 以守护程序&＃xff08;daemon&＃xff09;方式运行 memcached&＃xff1b;
-m 设置 memcached 可以使用的内存大小&＃xff0c;单位为 M&＃xff1b;

-l 设置监听的 IP&nb

sp;地址&＃xff0c;如果是本机的话&＃xff0c;通常可以不设置此参数&＃xff1b;
-p 设置监听的端口&＃xff0c;默认为 11211&＃xff0c;所以也可以不设置此参数&＃xff1b;
-u 指定用户&＃xff0c;如果当前为 root 的话&＃xff0c;需要使用此参数指定用户。

这将会启动一个占用2G内存的进程&＃xff0c;并打开11211端口用于接收请求。由于32位系统只能处理4G内存的寻址&＃xff0c;所以在大于4G内存使用PAE的32位服务器上可以运行2-3个进程&＃xff0c;并在不同端口进行监听。

4. 如何使用memcached-Client端?

在应用端包含一个用于描述Client的Class后&＃xff0c;就可以直接使用&＃xff0c;非常简单。

PHP Example:

$options["servers"] &＃61; array("192.168.1.41:11211", "192.168.1.42:11212");

$options["debug"] &＃61; false;

$memc &＃61; new MemCachedClient($options);

$myarr &＃61; array("one","two", 3);

$memc->set("key_one", $myarr);

$val &＃61; $memc->get("key_one");

print $val[0]."\n"; // prints &＃39;one‘

print $val[1]."\n"; // prints &＃39;two‘

print $val[2]."\n"; // prints 3

5.为什么不使用数据库做这些&＃xff1f;

暂且不考虑使用什么样的数据库(MS-SQL, Oracle, Postgres, MysQL-InnoDB, etc..), 实现事务(ACID&＃xff0c;Atomicity, Consistency, Isolation, and Durability )需要大量开销&＃xff0c;特别当使用到硬盘的时候&＃xff0c;这就意味着查询可能会阻塞。当使用不包含事务的数据库&＃xff08;例如Mysql-MyISAM&＃xff09;&＃xff0c;上面的开销不存在&＃xff0c;但读线程又可能会被写线程阻塞。Memcached从不阻塞&＃xff0c;速度非常快。

6.为什么不使用共享内存?

最初的缓存做法是在线程内对对象进行缓存&＃xff0c;但这样进程间就无法共享缓存&＃xff0c;命中率非常低&＃xff0c;导致缓存效率极低。后来出现了共享内存的缓存&＃xff0c;多个进程或者线程共享同一块缓存&＃xff0c;但毕竟还是只能局限在一台机器上&＃xff0c;多台机器做相同的缓存同样是一种资源的浪费&＃xff0c;而且命中率也比较低。

Memcached Server和Clients共同工作&＃xff0c;实现跨服务器分布式的全局的缓存。并且可以与Web Server共同工作&＃xff0c;Web Server对CPU要求高&＃xff0c;对内存要求低&＃xff0c;Memcached Server对CPU要求低&＃xff0c;对内存要求高&＃xff0c;所以可以搭配使用。

7.Mysql 4.x的缓存怎么样?

Mysql查询缓存不是很理想&＃xff0c;因为以下几点&＃xff1a;

当指定的表发生更新后&＃xff0c;查询缓存会被清空。在一个大负载的系统上这样的事情发生的非常频繁&＃xff0c;导致查询缓存效率非常低&＃xff0c;有的情况下甚至还不如不开&＃xff0c;因为它对cache的管理还是会有开销。

在32位机器上&＃xff0c;Mysql对内存的操作还是被限制在4G以内&＃xff0c;但memcached可以分布开&＃xff0c;内存规模理论上不受限制。

Mysql上的是查询缓存&＃xff0c;而不是对象缓存&＃xff0c;如果在查询后还需要大量其它操作&＃xff0c;查询缓存就帮不上忙了。

如果要缓存的数据不大&＃xff0c;并且查询的不是非常频繁&＃xff0c;这样的情况下可以用Mysql 查询缓存&＃xff0c;不然的话memcached更好。

8.数据库同步怎么样&＃xff1f;

这里的数据库同步是指的类似Mysql Master-Slave模式的靠日志同步实现数据库同步的机制。

你可以分布读操作&＃xff0c;但无法分布写操作&＃xff0c;但写操作的同步需要消耗大量的资源&＃xff0c;而且这个开销是随着slave服务器的增长而不断增长的。

下一步是要对数据库进行水平切分&＃xff0c;从而让不同的数据分布到不同的数据库服务器组上&＃xff0c;从而实现分布的读写&＃xff0c;这需要在应用中实现根据不同的数据连接不同的数据库。

当这一模式工作后&＃xff08;我们也推荐这样做&＃xff09;&＃xff0c;更多的数据库导致更多的让人头疼的硬件错误。

Memcached可以有效的降低对数据库的访问&＃xff0c;让数据库用主要的精力来做不频繁的写操作&＃xff0c;而这是数据库自己控制的&＃xff0c;很少会自己阻塞 自己。

9.Memcached快吗&＃xff1f;

非常快&＃xff0c;它使用libevent&＃xff0c;可以应付任意数量打开的连接&＃xff08;使用epoll&＃xff0c;而非poll&＃xff09;&＃xff0c;使用非阻塞网络IO&＃xff0c;分布式散列对象到不同的服务器&＃xff0c;查询复杂度是O(1)。

10.memcached的相关抽象类

    } public Object getCacheValueFromMemcached(String key) ...{

        return getCacheValueFromMemcached(key, null);

    }

    public Object getCacheValueFromMemcached(String key, Object obj) ...{

        Object new_obj &＃61; null;

        try ...{

            new_obj &＃61; memcached.get(key);

            } catch (Exception e) ...{

            if (logger.isWarnEnabled()) ...{

11.service调用memcache的一个例子&＃xff1a;

public List getLastModifyAlbumMember(int limit) ...{

        String cacheKey &＃61; this.createCachekey(new

       Object[]...{"schedule","lastmodifyalbumember",limit});

        List list &＃61; (List) this.getCacheValueFromMemcached(cacheKey);

        List list1 &＃61; new ArrayList();

        if(null!&＃61;list&&list.size()>0)...{

            for (Object aList : list) ...{

                list1.add(Integer.parseInt(String.valueOf(aList)));

            }

        }

        return list1;

    }

参考资料&＃xff1a;

http://www.danga.com/

http://www.linuxjournal.com/article/7451