从读写分离到CQRS，张大胖是如何解决性能问题的？

1不堪重负的数据库

张大胖公司的数据库已经不堪重负了。

这个系统最早是两个实习生写的&＃xff0c; 按照最初的设计&＃xff0c;只是内部用户玩的&＃xff0c; 大家可以把一些闲置不用的东西放在上面做交换&＃xff0c;  仅此而已&＃xff0c;后来为了在互联网的大潮中赚点钱&＃xff0c;又包裹上了一层Web的外衣&＃xff0c; 让外界也可以访问。

大家没有想到互联网威力如此巨大&＃xff0c; 用户量会如此之多&＃xff0c; 他们系统使用的Mysql数据库很快就撑不住了。

作为技术负责人的张大胖早已经向老大申请了一笔费用&＃xff0c; 专门买了一个高性能的服务器来应对&＃xff0c; 但是汹涌而来的用户很快就把高性能给吃得连渣都不剩。

张大胖忧心忡忡&＃xff1a; “老大&＃xff0c;怎么办&＃xff1f; ”

老大也是技术出身&＃xff0c;反问道&＃xff1a; “你分析过为什么数据库压力这么大吗? ”

“无非就是读写量太大了&＃xff0c;尤其是有一些非常复杂的查询&＃xff0c; 比如最近24小时最热门的物品之类&＃xff0c;需要写很复杂的SQL, 运行起来实在太慢了。”

“我记得咱们俩聊过读写分离啊&＃xff0c; 怎么不试一试&＃xff1f;”

“老大啊&＃xff0c; 你不知道&＃xff0c;这实在是不好弄啊&＃xff0c; 为了实现读写分离&＃xff0c; 得把数据库拆分成master库和slave库&＃xff0c; 还比较简单&＃xff0c; 但是我们的系统代码也得改啊&＃xff0c; 写数据的时候用master 库&＃xff0c; 读数据的时候用slave库&＃xff0c; 你知道我们这是上个世纪开发的系统&＃xff0c;典型的遗留代码&＃xff0c;  改动起来太麻烦了。”

老大说&＃xff1a;“那也得改啊&＃xff0c; 你要知道现在这个系统可是咱们公司最大的收入来源了。 你们要是不想改&＃xff0c;就退下来&＃xff0c;我只好去找李小疯去做了”

张大胖向来瞧不起马屁精李小疯&＃xff0c;技术不咋地&＃xff0c;升的到挺快&＃xff0c;一起进公司的&＃xff0c; 现在已经比自己高一级了。

张大胖赶紧说&＃xff1a;“ 别别&＃xff0c; 还是我来”

张大胖带着几个弟兄和遗留代码奋战了几个月&＃xff0c;  工作量不亚于一次重写。 张大胖深深地体会到&＃xff0c;别看现有代码很烂&＃xff0c; 但是经过无数人的修补&＃xff0c;勉强能工作。 现在自己从头写一遍&＃xff0c;出的问题更多&＃xff0c;很多小细节考虑不到&＃xff0c;被测出了无数Bug。

不过好处也是巨大的&＃xff0c;这次重写&＃xff0c;理清了业务&＃xff0c; 实现了读写分离&＃xff0c;还把缓存也用上了&＃xff0c; 最后熬了两天两夜&＃xff0c;新系统终于上线了。

张大胖想着好日子就要开始了&＃xff0c;崭新的代码&＃xff0c; 崭新的系统&＃xff0c;应该可以撑一段时间。

2复杂的查询

可是新系统上线了一周后&＃xff0c;问题又出现了&＃xff0c;这次的问题主要集中在一些复杂的SQL查询上&＃xff0c;这些SQL查询最要命的得有几十行&＃xff01; 严重地拖累了数据库 &＃xff01;

张大胖找来DBA 小梁过来做优化&＃xff0c;小梁看了半天说&＃xff1a; “没辙&＃xff0c; 你们的业务太复杂了&＃xff0c; 你看看有这么多表在做Join&＃xff0c;怎么可能快呢&＃xff1f;”

张大胖说&＃xff1a;“这没办法啊&＃xff0c;数据库就是这么设计的啊&＃xff0c; 你懂的&＃xff0c;无论如何也得满足第一范式吧。 要不这样&＃xff0c;你给我们创建一个视图(View) 吧&＃xff0c; 把这个复杂的查询给封装起来&＃xff0c; 这样我们使用起来就简单了”

“那也是换汤不换药啊&＃xff0c; 实际的查询还在&＃xff0c; 没有本质的改变&＃xff0c;  照样还是慢。”

“唉&＃xff0c;这可怎么办&＃xff0c; 我们有20多个复杂查询&＃xff0c;怎么才能提高速度呢&＃xff1f;”

小梁说&＃xff1a; “你看看这个超级复杂的查询&＃xff0c; 不就是为了获得过去24小时的热门产品吗&＃xff0c;要是有个表单独存放就好了 hot_products(id, name, desc, total_sold) &＃xff0c; 这样以来一条简单的SQL就搞定”

小梁的话启发了张大胖&＃xff1a; 实际上&＃xff0c;一套单一的数据库表 对于报表、搜索、事务等不同的行为是不适当的 &＃xff01;

现在复杂的数据查询和简单的数据修改利用的就是同一套领域模型和数据库表&＃xff0c; 现在的数据库表主要是为了新增、修改数据而设计的&＃xff0c; 对于复杂的查询并不友好。  我们能不能单独的建一套数据库&＃xff0c;专门应对查询呢&＃xff1f;

有了这个专门的查询库&＃xff0c; 用户在界面上发起查询的时候处理起来非常简单&＃xff0c; 一条SQL就搞定&＃xff0c;甚至都不用通过业务领域层&＃xff0c;换句话说数据库模型和展示层是对应的&＃xff01;  再也不用像原来那样从原始数据库表中得到数据&＃xff0c;转化成领域对象&＃xff0c; 然后再转化成展示层对象&＃xff0c; 实在是太麻烦了 &＃xff01;

但是这个专门的查询库该如何更新呢&＃xff1f;　更重要的是能不能忍受数据的延迟呢&＃xff1f;

3CQRS

张大胖把自己的想法和苦恼给老大讲了下。

老大拍了拍他的肩膀&＃xff1a; “看来你小子开窍了啊&＃xff0c; 想得挺深入的&＃xff0c; 从业务上看数据的延迟可以忍受&＃xff0c;比如过去24小时的热门产品&＃xff0c;一点点过时的数据对用户不会产生重大的影响。只要你能达到最终一致就可以了。”

“那我们该怎么更新这个专门的查询库呢&＃xff1f;”

“我最近在看一个叫做CQRS的东西”  老大说  “ 你遇到的这个问题可以用同样的思路来解决下”

“什么是CQRS ? ”

"Command Query Responsibility Segregation&＃xff0c;就是命令&＃xff08;增删改&＃xff09;和查询的责任分离&＃xff0c; 你看看这个图"

“这和我刚才的图差不多啊” 张大胖说

“所以说思路是一致的嘛&＃xff0c; 在CQRS中&＃xff0c; 强调的是读&＃xff08;Query&＃xff09;和写(Command) 的分离 &＃xff0c;  它背后的理念是用户读到的数据通常是过时的&＃xff0c;比如过去24小时最火的产品&＃xff0c; 既然如此&＃xff0c; 为什么还要从数据库中读取一遍&＃xff0c;转化为领域模型&＃xff0c;DTO, VO&＃xff0c; 最后在UI层展示呢&＃xff1f; 何不直接一点&＃xff0c;干脆为‘读’专门建立一个直接的数据源呢&＃xff1f; 这新的数据源不一定是关系数据库&＃xff0c;可以是Cache ,可以直接存储为xml/json数据&＃xff0c; 只要界面查询起来方便即可。 ”

“是&＃xff0c;最早我也是这么想的&＃xff0c;那这个Event是怎么回事&＃xff1f;”

“Event 就是事件喽&＃xff0c;例如有人下了一个订单&＃xff0c; 导致某个产品已经卖出&＃xff0c; 这个时候就可以发布一个产品已经卖出(ProductSold)的事件 , 其中包含产品的ID, 价格&＃xff0c;卖出时间等属性&＃xff0c; 这样的事件被处理以后&＃xff0c;可以变成任意的Read Model&＃xff0c;例如过去24小时最火的产品 。”

“奥&＃xff0c;原来是这么玩的啊&＃xff0c; 通过事件机制把同步变成异步 ”  张大胖说 “ 还有一个问题&＃xff0c;如果我们用CQRS&＃xff0c; 难道我们的应用需要把所有的Command 和Query完全分开吗&＃xff0c; 查询都通过新的数据源&＃xff1f;  可是很多查询很简单&＃xff0c;直接使用关系数据库就够了啊。 ”

“不&＃xff0c;不要把摊子铺得太大&＃xff0c; 引入一种新的技术也是需要付出代价的&＃xff0c;我们把同步操作变成了异步的操作&＃xff0c; 得有良好的事件处理机制才可以。 所以先用这种思路把你的当前问题&＃xff0c;也就是复杂查询的问题解决掉吧&＃xff01;” 老大最后拍了板。

&＃xff08;完&＃xff09;

你看到的只是冰山一角&＃xff0c; 更多精彩文章&＃xff0c;请移步《码农翻身2016文章精华》或者《码农翻身2017上半年文章精华》

有心得想和大家分享&＃xff1f; 欢迎投稿 &＃xff01; 我的联系方式&＃xff1a;微信&＃xff1a;liuxinlehan  QQ: 3340792577

码农翻身

用故事讲述技术