【转载】互联网架构，如何进行容量设计？

一&＃xff0c;需求缘起

互联网公司&＃xff0c;这样的场景是否似曾相识&＃xff1a;

场景一&＃xff1a;pm要做一个很大的运营活动&＃xff0c;技术老大杀过来&＃xff0c;问了两个问题&＃xff1a;

&＃xff08;1&＃xff09;机器能抗住么&＃xff1f;

&＃xff08;2&＃xff09;如果扛不住&＃xff0c;需要加多少台机器&＃xff1f;

场景二&＃xff1a;系统设计阶段&＃xff0c;技术老大杀过来&＃xff0c;又问了两个问题&＃xff1a;

&＃xff08;1&＃xff09;数据库需要分库么&＃xff1f;

&＃xff08;2&＃xff09;如果需要分库&＃xff0c;需要分几个库&＃xff1f;

技术上来说&＃xff0c;这些都是系统容量预估的问题&＃xff0c;容量设计是架构师必备的技能之一。常见的容量评估包括数据量、并发量、带宽、CPU/MEM/DISK等&＃xff0c;今天分享的内容&＃xff0c;就以【并发量】为例&＃xff0c;看看如何回答好这两个问题。

二&＃xff0c;容量评估的步骤与方法

【步骤一&＃xff1a;评估总访问量】

如何知道总访问量&＃xff1f;对于一个运营活动的访问量评估&＃xff0c;或者一个系统上线后PV的评估&＃xff0c;有什么好的方法&＃xff1f;

答案是&＃xff1a;询问业务方&＃xff0c;询问运营同学&＃xff0c;询问产品同学&＃xff0c;看对运营活动或者产品上线后的预期是什么。

举例&＃xff1a;58要做一个APP-push的运营活动&＃xff0c;计划在30分钟内完成5000w用户的push推送&＃xff0c;预计push消息点击率10%&＃xff0c;求push落地页系统的总访问量&＃xff1f;

回答&＃xff1a;5000w*10% &＃61; 500w

【步骤二&＃xff1a;评估平均访问量QPS】

如何知道平均访问量QPS&＃xff1f;

答案是&＃xff1a;有了总量&＃xff0c;除以总时间即可&＃xff0c;如果按照天评估&＃xff0c;一天按照4w秒计算。

举例1&＃xff1a;push落地页系统30分钟的总访问量是500w&＃xff0c;求平均访问量QPS

回答&＃xff1a;500w/(30*60) &＃61; 2778&＃xff0c;大概3000QPS

举例2&＃xff1a;主站首页估计日均pv 8000w&＃xff0c;求平均访问QPS

回答&＃xff1a;一天按照4w秒算&＃xff0c;8000w/4w&＃61;2000&＃xff0c;大概2000QPS

提问&＃xff1a;为什么一天按照4w秒计算&＃xff1f;

回答&＃xff1a;一天共24小时*60分钟*60秒&＃61;8w秒&＃xff0c;一般假设所有请求都发生在白天&＃xff0c;所以一般来说一天只按照4w秒评估

【步骤三&＃xff1a;评估高峰QPS】

系统容量规划时&＃xff0c;不能只考虑平均QPS&＃xff0c;而是要抗住高峰的QPS&＃xff0c;如何知道高峰QPS呢&＃xff1f;

答案是&＃xff1a;根据业务特性&＃xff0c;通过业务访问曲线评估

举例&＃xff1a;日均QPS为2000&＃xff0c;业务访问趋势图如下图&＃xff0c;求峰值QPS预估&＃xff1f;

回答&＃xff1a;从图中可以看出&＃xff0c;峰值QPS大概是均值QPS的2.5倍&＃xff0c;日均QPS为2000&＃xff0c;于是评估出峰值QPS为5000。

说明&＃xff1a;有一些业务例如“秒杀业务”比较难画出业务访问趋势图&＃xff0c;这类业务的容量评估不在此列。

【步骤四&＃xff1a;评估系统、单机极限QPS】

如何评估一个业务&＃xff0c;一个服务单机能的极限QPS呢&＃xff1f;

答案是&＃xff1a;压力测试

在一个服务上线前&＃xff0c;一般来说是需要进行压力测试的&＃xff08;很多创业型公司&＃xff0c;业务迭代很快的系统可能没有这一步&＃xff0c;那就悲剧了&＃xff09;&＃xff0c;以APP-push运营活动落地页为例&＃xff08;日均QPS2000&＃xff0c;峰值QPS5000&＃xff09;&＃xff0c;这个系统的架构可能是这样的&＃xff1a;

1&＃xff09;访问端是APP

2&＃xff09;运营活动H5落地页是一个web站点

3&＃xff09;H5落地页由缓存cache、数据库db中的数据拼装而成

通过压力测试发现&＃xff0c;web层是瓶颈&＃xff0c;tomcat压测单机只能抗住1200的QPS&＃xff08;一般来说&＃xff0c;1%的流量到数据库&＃xff0c;数据库500QPS还是能轻松抗住的&＃xff0c;cache的话QPS能抗住&＃xff0c;需要评估cache的带宽&＃xff0c;假设不是瓶颈&＃xff09;&＃xff0c;我们就得到了web单机极限的QPS是1200。一般来说&＃xff0c;线上系统是不会跑满到极限的&＃xff0c;打个8折&＃xff0c;单机线上允许跑到QPS1000。

【步骤五&＃xff1a;根据线上冗余度回答两个问题】

好了&＃xff0c;上述步骤1-4已经得到了峰值QPS是5000&＃xff0c;单机QPS是1000&＃xff0c;假设线上部署了2台服务&＃xff0c;就能自信自如的回答技术老大提出的问题了&＃xff1a;

&＃xff08;1&＃xff09;机器能抗住么&＃xff1f; -> 峰值5000&＃xff0c;单机1000&＃xff0c;线上2台&＃xff0c;扛不住

&＃xff08;2&＃xff09;如果扛不住&＃xff0c;需要加多少台机器&＃xff1f; -> 需要额外3台&＃xff0c;提前预留1台更好&＃xff0c;给4台更稳

除了并发量的容量预估&＃xff0c;数据量、带宽、CPU/MEM/DISK等评估亦可遵循类似的步骤。

三&＃xff0c;总结

互联网架构设计如何进行容量评估&＃xff1a;

【步骤一&＃xff1a;评估总访问量】 -> 询问业务、产品、运营

【步骤二&＃xff1a;评估平均访问量QPS】-> 除以时间&＃xff0c;一天算4w秒

【步骤三&＃xff1a;评估高峰QPS】 -> 根据业务曲线图来

【步骤四&＃xff1a;评估系统、单机极限QPS】 -> 压测很重要

【步骤五&＃xff1a;根据线上冗余度回答两个问题】 -> 估计冗余度与线上冗余度差值

个人一些经验分享&＃xff0c;大伙轻拍&＃xff0c;有更好的建议欢迎回复&＃xff0c;下篇文章会将好的经验share给更多的同学。

&＃61;&＃61;【完】&＃61;&＃61;

【转自】58沈剑   架构师之路