大型网站及架构演进过程

标签&＃xff08;空格分隔&＃xff09;&＃xff1a; 读书笔记

---

*通过前面的介绍&＃xff0c;我们已经了解了分布式系统的相关知识&＃xff0c;下面看一下大型网站架构演化及怎么用这个集群的。

大型网站的定义

看这个的我想都是有些经验的人了&＃xff0c;就不啰嗦了&＃xff0c;大型网站就是访问量&数据量都很大&＃xff0c;必须同时具备这两个条件才可以&＃xff0c;你整一堆静态页面 每天1000000000000000000000个人访问也不能称之为大型网站。只有当以上两个条件都具备的情况下&＃xff0c;你才会有高并发的问题&＃xff0c;才需要一个集群来支撑你的业务。

架构演进

这方面的文章确实不少&＃xff0c;给大家介绍几个比较不错的演进过程
宜人贷&＃xff1a;http://www.jianshu.com/p/410250e006cb
精品博客&＃xff08;包含很多案例&＃xff09;&＃xff1a;http://www.hollischuang.com/archives/1036

关于负载均衡session的解决方案

关于负载均衡session问题的解决方案&＃xff1a;
1.使用无状态(COOKIE)的会话请求
缺点是
安全性&＃xff1a;毕竟COOKIE是可见的。如果要实现安全的COOKIE就要在技术上改进&＃xff0c;比如加密或每次生成一个token等方式来规避不安全问题。
COOKIE长度限制&＃xff1a;这个无解
带宽消耗及性能影响&＃xff1a;每次请求都带有session数据&＃xff0c;还要解密及设置新token&＃xff0c;相对来说肯定对性能有一定影响。
如果对安全性要求不是很高&＃xff0c;还是可以选用这种方式。
2.ngxin使用ip轮询的方式(不稳定&＃xff09;
缺点是当使用ip轮询方式式&＃xff0c;假如某一ip访问的机器挂了。把这个ip定位到其他机器上&＃xff0c;就没有session了。以及nginx会变成一个有状态的节点&＃xff0c;内存消耗会更大&＃xff08;不过可以加内存嘛&＃xff09;&＃xff0c;但是容灾会更麻烦。
3.session同步
现在主流的容器都有session同步功能&＃xff0c;比如tomcat。
同步session造成网络带宽消耗&＃xff0c;机器越多&＃xff0c;消耗越大&＃xff0c;相对来说性能也越差。
每台机器都需要保存全部机器的session.这样session数据占用的内容会很严重。
4.使用会话集中管理&＃xff0c;如membercache来集中管理回话。
这种是比较常见的实现方式。比以上3种方式都要好&＃xff0c;但是也有一定的缺点&＃xff0c;比如session存储需要远程读取&＃xff0c;会有延时及不稳定性&＃xff0c;不过一般我们集群都是部署在内网的&＃xff0c;这点可以忽略。另一个问题就是要相应的做好session集中会话管理服务器的容灾工作。假如没有容灾&＃xff0c;session会话管理服务器挂了。整个应用就会受到影响。

读取性能的优化

数据库优化

分库/分表/分区&＃xff1a;这里建议采用分区操作&＃xff0c;对sql比较友好&＃xff0c;对orm层也没有变化。分表分库应为最后的优化手段&＃xff0c;毕竟对数据层代码有影响。而且会存在分布式事务这个大麻烦。
读写分离&＃xff1a;读库与写库分开&＃xff0c;现在各种数据库都有这种技术&＃xff0c;只不过相应的来说&＃xff0c;会有一定的延时性。但是性能提升是比较大的。

搜索

对于站内搜索&＃xff0c;如果数据量比较大&＃xff0c;可以使用做一个搜索组件来代替like,毕竟like效率不是很高。

缓存

对于经常需要读很少改的数据&＃xff0c;可以通过缓存来提高读取的性能。这部分就不用多说了&＃xff0c;主要就是ehcache/redis等各种cache组件。
另一个缓存的应用就是缓存页面&＃xff0c;把经常访问的动态页面缓存起来&＃xff0c;直接读取缓存&＃xff0c;减小服务器的开销。比如ehcahce就可以缓存页面。
缓存使用的好不好的一个指标就是&＃xff1a;缓存命中率&＃xff0c;如果命中率很低&＃xff0c;需要调整代码结构。

总结
总的来说&＃xff0c;所有的架构都是经历了从以下这个阶段
1.webapp&database:应用与数据库在一台机器上(all in one)。
2.webapp&＃43;database:分离数据库与应用&＃xff0c;提高数据读写性能。
3.nginx&＃43;nwebapp&＃43;database&＃xff1a;负载均衡&＃43;多个应用服务器&＃43;数据库。
4.nginx&＃43;nwebapp&＃43;cache&＃43;database&＃xff1a;基于第3次改变&＃xff0c;增加缓存设置&＃xff0c;提高读取性能。
5.nginx&＃43;nwebapp&＃43;cache&＃43;ndatabase:添加多个数据库&＃xff0c;实现读写分离&＃xff0c;提高读取性能。
6.基于5的基础上&＃xff0c;对数据库进行改造&＃xff0c;包括分表分库分区或使用第三方的软件&＃xff08;mycat等&＃xff09;来增强数据库性能。同时对webapp进行拆分&＃xff0c;拆分出多个服务中心&＃xff0c;每个服务中心负责专门的业务。期间涉及到的技术有(包括但不限于):redis/avtivemq(消息中间件)/mycat/zookeeper/nosql等

其实对于大型网站来说&＃xff0c;主要问题就是
1.服务的管理&＃xff1a;这个比较麻烦&＃xff0c;如果服务多了以后各种接口的调用及服务状态的监控
2.io&＃xff1a;对于现在情况来看&＃xff0c;我们服务的主要瓶颈还是集中在io层。主要是数据库的读写比较耗费时间&＃xff0c;所以解决了这个问题&＃xff0c;我想应用的速度是可以更上一层楼的。包括利用适合ssd的数据库&＃xff0c;记得国外有个这样的数据库。还有好的中间件&＃xff0c;现在的中间件都有较大的性能损耗&＃xff08;30%&＃xff09;。