原文地址石杉的架构笔记
一你们公司生产环境用的是什么消息中间件&＃xff1f;
这个首先你可以说下你们公司选用的是什么消息中间件&＃xff0c;比如用的是RabbitMQ&＃xff0c;然后可以初步给一些你对不同MQ中间件技术的选型分析。
举个例子&＃xff1a;比如说ActiveMQ是老牌的消息中间件&＃xff0c;国内很多公司过去运用的还是非常广泛的&＃xff0c;功能很强大。
但是问题在于没法确认ActiveMQ可以支撑互联网公司的高并发、高负载以及高吞吐的复杂场景&＃xff0c;在国内互联网公司落地较少。而且使用较多的是一些传统企业&＃xff0c;用ActiveMQ做异步调用和系统解耦。
然后你可以说说RabbitMQ&＃xff0c;他的好处在于可以支撑高并发、高吞吐、性能很高&＃xff0c;同时有非常完善便捷的后台管理界面可以使用。
另外&＃xff0c;他还支持集群化、高可用部署架构、消息高可靠支持&＃xff0c;功能较为完善。
而且经过调研&＃xff0c;国内各大互联网公司落地大规模RabbitMQ集群支撑自身业务的case较多&＃xff0c;国内各种中小型互联网公司使用RabbitMQ的实践也比较多。
除此之外&＃xff0c;RabbitMQ的开源社区很活跃&＃xff0c;较高频率的迭代版本&＃xff0c;来修复发现的bug以及进行各种优化&＃xff0c;因此综合考虑过后&＃xff0c;公司采取了RabbitMQ。
但是RabbitMQ也有一点缺陷&＃xff0c;就是他自身是基于erlang语言开发的&＃xff0c;所以导致较为难以分析里面的源码&＃xff0c;也较难进行深层次的源码定制和改造&＃xff0c;毕竟需要较为扎实的erlang语言功底才可以。
然后可以聊聊RocketMQ&＃xff0c;是阿里开源的&＃xff0c;经过阿里的生产环境的超高并发、高吞吐的考验&＃xff0c;性能卓越&＃xff0c;同时还支持分布式事务等特殊场景。
而且RocketMQ是基于Java语言开发的&＃xff0c;适合深入阅读源码&＃xff0c;有需要可以站在源码层面解决线上生产问题&＃xff0c;包括源码的二次开发和改造。
另外就是Kafka。Kafka提供的消息中间件的功能明显较少一些&＃xff0c;相对上述几款MQ中间件要少很多。
但是Kafka的优势在于专为超高吞吐量的实时日志采集、实时数据同步、实时数据计算等场景来设计。
因此Kafka在大数据领域中配合实时计算技术&＃xff08;比如Spark Streaming、Storm、Flink&＃xff09;使用的较多。但是在传统的MQ中间件使用场景中较少采用。
PS&＃xff1a;如果大家对上述一些MQ技术还没在自己电脑部署过&＃xff0c;没写几个helloworld体验一下的话&＃xff0c;建议先上各个技术的官网找到helloworld demo&＃xff0c;自己跑一遍玩玩
二为什么在你们系统架构中要引入消息中间件&＃xff1f;
回答这个问题&＃xff0c;其实就是让你先说说消息中间件的常见使用场景。
然后结合你们自身系统对应的使用场景&＃xff0c;说一下在你们系统中引入消息中间件是解决了什么问题。
1&＃xff09;系统解耦
假设你有个系统A&＃xff0c;这个系统A会产出一个核心数据&＃xff0c;现在下游有系统B和系统C需要这个数据。
那简单&＃xff0c;系统A就是直接调用系统B和系统C的接口发送数据给他们就好了。
整个过程&＃xff0c;如下图所示。
但是现在要是来了系统D、系统E、系统F、系统G&＃xff0c;等等&＃xff0c;十来个其他系统慢慢的都需要这份核心数据呢&＃xff1f;如下图所示。
大家可别以为这是开玩笑&＃xff0c;一个大规模系统&＃xff0c;往往会拆分为几十个甚至上百个子系统&＃xff0c;每个子系统又对应N多个服务&＃xff0c;这些系统与系统之间有着错综复杂的关系网络。
如果某个系统产出一份核心数据&＃xff0c;可能下游无数的其他系统都需要这份数据来实现各种业务逻辑。
此时如果你要是采取上面那种模式来设计系统架构&＃xff0c;那么绝对你负责系统A的同学要被烦死了。
先是来一个人找他要求发送数据给一个新的系统H&＃xff0c;系统A的同学要修改代码然后在那个代码里加入调用新系统H的流程。
一会那个系统B是个陈旧老系统要下线了&＃xff0c;告诉系统A的同学&＃xff1a;别给我发送数据了&＃xff0c;接着系统A再次修改代码不再给这个系统B。
然后如果要是某个下游系统突然宕机了呢&＃xff1f;系统A的调用代码里是不是会抛异常&＃xff1f;那系统A的同学会收到报警说异常了&＃xff0c;结果他还要去care是下游哪个系统宕机了。
所以在实际的系统架构设计中&＃xff0c;如果全部采取这种系统耦合的方式&＃xff0c;在某些场景下绝对是不合适的&＃xff0c;系统耦合度太严重。
并且互相耦合起来并不是核心链路的调用&＃xff0c;而是一些非核心的场景&＃xff08;比如上述的数据消费&＃xff09;导致了系统耦合&＃xff0c;这样会严重的影响上下游系统的开发和维护效率。
因此在上述系统架构中&＃xff0c;就可以采用MQ中间件来实现系统解耦。
系统A就把自己的一份核心数据发到MQ里&＃xff0c;下游哪个系统感兴趣自己去消费即可&＃xff0c;不需要了就取消数据的消费&＃xff0c;如下图所示。
2&＃xff09;异步调用
假设你有一个系统调用链路&＃xff0c;是系统A调用系统B&＃xff0c;一般耗时20ms&＃xff1b;系统B调用系统C&＃xff0c;一般耗时200ms&＃xff1b;系统C调用系统D&＃xff0c;一般耗时2s&＃xff0c;如下图所示。
现在最大的问题就是&＃xff1a;用户一个请求过来巨慢无比&＃xff0c;因为走完一个链路&＃xff0c;需要耗费20ms &＃43; 200ms &＃43; 2000ms&＃xff08;2s&＃xff09; &＃61; 2220ms&＃xff0c;也就是2秒多的时间。
但是实际上&＃xff0c;链路中的系统A调用系统B&＃xff0c;系统B调用系统C&＃xff0c;这两个步骤起来也就220ms。
就因为引入了系统C调用系统D这个步骤&＃xff0c;导致最终链路执行时间是2秒多&＃xff0c;直接将链路调用性能降低了10倍&＃xff0c;这就是导致链路执行过慢的罪魁祸首。
那此时我们可以思考一下&＃xff0c;是不是可以将系统D从链路中抽离出去做成异步调用呢&＃xff1f;其实很多的业务场景是可以允许异步调用的。
举个例子&＃xff0c;你平时点个外卖&＃xff0c;咔嚓一下子下订单然后付款了&＃xff0c;此时账户扣款、创建订单、通知商家给你准备菜品。
接着&＃xff0c;是不是需要找个骑手给你送餐&＃xff1f;那这个找骑手的过程&＃xff0c;是需要一套复杂算法来实现调度的&＃xff0c;比较耗时。
但是其实稍微晚个几十秒完成骑手的调度都是ok的&＃xff0c;因为实际并不需要在你支付的一瞬间立马给你找好骑手&＃xff0c;也没那个必要。
那么我们是不是就可以把找骑手给你送餐的这个步骤从链路中抽离出去&＃xff0c;做成异步化的&＃xff0c;哪怕延迟个几十秒&＃xff0c;但是只要在一定时间范围内给你找到一个骑手去送餐就可以了。
这样是不是就可以让你下订单点外卖的速度变得超快&＃xff1f;支付成功之后&＃xff0c;直接创建好订单、账户扣款、通知商家立马给你准备做菜就ok了&＃xff0c;这个过程可能就几百毫秒。
然后后台异步化的耗费可能几十秒通过调度算法给你找到一个骑手去送餐&＃xff0c;但是这个步骤不影响我们快速下订单。
当然我们不是说那些大家熟悉的外卖平台的技术架构就一定是这么实现的&＃xff0c;只不过是用一个生活中常见的例子给大家举例说明而已。
所以上面的链路也是同理&＃xff0c;如果业务流程支持异步化的话&＃xff0c;是不是就可以考虑把系统C对系统D的调用抽离出去做成异步化的&＃xff0c;不要放在链路中同步依次调用。
这样&＃xff0c;实现思路就是系统A -> 系统B -> 系统C&＃xff0c;直接就耗费220ms后直接成功了。
然后系统C就是发送个消息到MQ中间件里&＃xff0c;由系统D消费到消息之后慢慢的异步来执行这个耗时2s的业务处理。通过这种方式直接将核心链路的执行性能提升了10倍。
整个过程&＃xff0c;如下图所示。
3&＃xff09;流量削峰
假设你有一个系统&＃xff0c;平时正常的时候每秒可能就几百个请求&＃xff0c;系统部署在8核16G的机器的上&＃xff0c;正常处理都是ok的&＃xff0c;每秒几百请求是可以轻松抗住的。
但是如下图所示&＃xff0c;在高峰期一下子来了每秒钟几千请求&＃xff0c;瞬时出现了流量高峰&＃xff0c;此时你的选择是要搞10台机器&＃xff0c;抗住每秒几千请求的瞬时高峰吗&＃xff1f;
那如果瞬时高峰每天就那么半个小时&＃xff0c;接着直接就降低为了每秒就几百请求&＃xff0c;如果你线上部署了很多台机器&＃xff0c;那么每台机器就处理每秒几十个请求就可以了&＃xff0c;这不是有点浪费机器资源吗&＃xff1f;
大部分时候&＃xff0c;每秒几百请求&＃xff0c;一台机器就足够了&＃xff0c;但是为了抗那每天瞬时的高峰&＃xff0c;硬是部署了10台机器&＃xff0c;每天就那半个小时有用&＃xff0c;别的时候都是浪费资源的。
但是如果你就部署一台机器&＃xff0c;那会导致瞬时高峰时&＃xff0c;一下子压垮你的系统&＃xff0c;因为绝对无法抗住每秒几千的请求高峰。
此时我们就可以用MQ中间件来进行流量削峰。所有机器前面部署一层MQ&＃xff0c;平时每秒几百请求大家都可以轻松接收消息。
一旦到了瞬时高峰期&＃xff0c;一下涌入每秒几千的请求&＃xff0c;就可以积压在MQ里面&＃xff0c;然后那一台机器慢慢的处理和消费。
等高峰期过了&＃xff0c;再消费一段时间&＃xff0c;MQ里积压的数据就消费完毕了。
这个就是很典型的一个MQ的用法&＃xff0c;用有限的机器资源承载高并发请求&＃xff0c;如果业务场景允许异步削峰&＃xff0c;高峰期积压一些请求在MQ里&＃xff0c;然后高峰期过了&＃xff0c;后台系统在一定时间内消费完毕不再积压的话&＃xff0c;那就很适合用这种技术方案。
京公网安备 11010802041100号