用户请求队列化_消息队列知识点讲解

当我试图用一则通俗的比喻来说明这个概念的时候&＃xff0c;我想到一个有意思的比喻&＃xff1a;如果把队列抽象成一个集合体&＃xff0c;那么消息队列也就是一堆消息的集合。按照这个思路我想到了「杂志」。这不就是一堆消息的集合吗&＃xff0c;关心这些消息的人都能通过「购买」来获得这些消息&＃xff0c;而我可以通过不同种类的「杂志」或许到不同的消息。并且如果我作为出版方&＃xff0c;我可以提供所有出版过的「杂志」&＃xff0c;也可以选择让读者只能购买近期的。

好处一&＃xff1a;解耦

假设我们做了一个会议室预定系统&＃xff0c;我们的一个设备坏了。我们需要通知预定这个会议室的所有人&＃xff0c;于是我们需要发邮件&＃xff0c;伪代码如下&＃xff1a;

&＃64;Servicepublic class EquipmentServiceImpl implements EquipmentService { &＃64;Autowired private EmailService emailService; &＃64;Autowired private EquipmentRepository equipmentRepository; public void setEquipmentBroken(Long id) { Equipment equipment &＃61; equipmentRepository.findById(id); equipment.setStatus(Equipment.StatusEnum.BROKEN); emailService.sendEmail(); }}

问题来了&＃xff0c;如果我们后来发现设备坏了并且需要更改可用库存的数量&＃xff0c;这时候我们是不是要在这里加入 InventoryService 库存服务的代码呢&＃xff1f;后来如果经理说设备坏了应该通知他才对啊&＃xff0c;所以我们要不要加入 emailService.sendEmailTo(Manager) 这样的代码呢&＃xff1f;

随着我们业务模块接入越来越多&＃xff0c;我们的代码与其他模块越来越耦合&＃xff0c;修改代码的难度也指数级的增加&＃xff0c;所以我们引入「消息队列」&＃xff0c;把「设备坏了」这样的消息发送到队列中&＃xff0c;其他关心这条消息的业务就会得到这样的「通知」&＃xff0c;然后就会去做对应的事&＃xff0c;这样各个模块之间就解耦了。伪代码看上去如下&＃xff1a;

public void setEquipmentBroken(Long id) { Equipment equipment &＃61; equipmentRepository.findById(id); equipment.broken(); eventBus.publish(new EquipmentBrokenEvent(equipment.id));}

好处二&＃xff1a;异步处理

接着上面的例子&＃xff0c;假设我们已经把「发送邮件」、「修改库存」以及「通知经理」的代码都写入了我们的 Service 代码中&＃xff0c;它们分别耗时&＃xff1a;30ms、50ms、80ms&＃xff0c;并且我们得知&＃xff0c;原本最主要的功能其实是「发送邮件」&＃xff0c;但我们完成主要的功能之后却等待了更多的额外时间&＃xff0c;这显示是不合理的。

所以我们为了提高用户体验&提高吞吐量&＃xff0c;我们其实可以引入「消息队列」来进行异步的操作。

好处三&＃xff1a;削峰/限流

假设我们的服务器最多能支持每秒 1000 个请求&＃xff0c;而我们公司在节日要搞促销&＃xff0c;为了避免服务器挂掉我们额外申请了两台服务器做了负载均衡&＃xff0c;于是我们现在的机器最理想的情况能够支持每秒 3000 个请求&＃xff0c;但奈何活动太火爆了&＃xff0c;每秒来的请求有大概 4000 个&＃xff0c;这些多出来的请求就可能导致服务器给直接挂掉了。

所以我们就引入了一个「消息队列」&＃xff0c;让消息不直接到达服务器&＃xff0c;而是先让「消息队列」保存这些数据&＃xff0c;然后让下面的服务器每一次都取各自能处理的请求数再去处理&＃xff0c;这样当请求数超过服务器最大负载时&＃xff0c;就不至于把服务器搞挂了。

基于上面的描述&＃xff0c;我们大概能想到「消息队列」的局限性&＃xff0c;例如当「生产者」需要「从消费者获得反馈」时&＃xff0c;就会出现一定的问题。例如我之前尝试着使用「事件驱动」的方式编码时&＃xff0c;我想要把 Service 的一些主逻辑给转移到关注该事件的监听器上时&＃xff0c;发现有点问题&＃xff0c;我原本的意图是想让一部分代码解耦&＃xff0c;但作为主逻辑的一部分我需要保证它们准确的执行&＃xff0c;当我使用「消息」的方式传递出去时&＃xff0c;我无法得到消费者的反馈&＃xff0c;所以最终我还是把主逻辑给迁回来了&＃xff0c;算是一次失败的尝试吧。

场景一&＃xff1a;异步处理

通过上述的问题你也看到了&＃xff0c;「消息队列」适用于异步处理&＃xff0c;并且是那些不期望从消费者得到反馈的处理。就好像一开始说到的设备坏了的问题&＃xff0c;我只需要通知设备坏了&＃xff0c;至于之后需要做什么事&＃xff0c;关心的人自然会去做相应的处理。

场景二&＃xff1a;日志收集

上面提到的异步处理&＃xff0c;跟日志系统似乎搭配起来也很好。特别是当你需要把日志发往单独的数据平台的时候&＃xff0c;「消息队列」尤为有用&＃xff0c;我们不再需要在业务代码里面侵入我们的各种打点or日志&＃xff0c;只需要简单的发布一条消息&＃xff0c;再去关注做处理就好了。

场景四&＃xff1a;应用解耦

基于上面的例子你应该也能感受一二了。

场景三&＃xff1a;流量削峰

这也是「消息队列」常见的场景&＃xff0c;通过引入「消息队列」&＃xff0c;我们一来可以控制请求的人数&＃xff0c;二来也可以缓解短时间内高流量的压力。

场景四&＃xff1a;消息通讯

消息通讯是指&＃xff0c;消息队列一般都内置了高效的通信机制&＃xff0c;因此也可以用在纯的消息通讯。比如实现点对点消息队列&＃xff0c;或者聊天室等。

如果自己设计一个&＃xff1f;

我们在讨论市面上常见的「消息队列」中间件之前&＃xff0c;我们先来考虑自己造一个怎么样&＃xff1f;如果是你自己来设计&＃xff0c;你会怎么做&＃xff1f;乍一想&＃xff0c;似乎每个语言都会有自己实现的「队列」&＃xff0c;往队列里塞数据&＃xff0c;再从队列里面挨个取就行了&＃xff1f;

但是一细想好像事情并不简单。作为一个「消息队列」&＃xff0c;你首先要保证数据不能给人家弄丢了吧&＃xff1f;存内存&＃xff1f;万一断电了怎么办&＃xff1f;写磁盘&＃xff1f;消息量超过系统写磁盘速率上限了怎么办&＃xff1f;备份又该怎么做呢&＃xff1f;

好&＃xff0c;假设我一整捣鼓&＃xff0c;保证了我的数据不会丢失了&＃xff0c;下一个问题&＃xff0c;生产者怎么往「消息队列」里面塞数据&＃xff1f;我的意思是&＃xff0c;生产者可能不止一个&＃xff0c;把全量的消息放在一个队列似乎不太合适&＃xff0c;我需要给这些消息分个类吧&＃xff1f;新来了一个分类的消息我怎么动态的扩容呢&＃xff1f;消费者又如何消费这些数据呢&＃xff1f;多个消费者之间又如何进行协调呢&＃xff1f;

好吧..总之问题挺多的..并不像表面那么简单。

RabbitMQ

RabbitMQ 是使用 Erlang 编写的一个开源的消息队列&＃xff0c;本身支持很多的协议&＃xff1a;AMQP&＃xff0c;XMPP, SMTP, STOMP&＃xff0c;也正因如此&＃xff0c;它非常重量级&＃xff0c;更适合于企业级的开发。同时实现了 Broker 构架&＃xff0c;这意味着消息在发送给客户端时先在中心队列排队。对路由&＃xff0c;负 载均衡或者数据持久化都有很好的支持。

Redis

Redis 也能用来做「消息队列」。Redis 是一个基于 Key-Value 对的 NoSQL 数据库&＃xff0c;开发维护很活跃。虽然它是一个 Key-Value 数据库存储系统&＃xff0c;但它本身支持 MQ 功能&＃xff0c; 所以完全可以当做一个轻量级的队列服务来使用。对于 RabbitMQ 和 Redis 的入队和出队操作&＃xff0c;各执行 100 万次&＃xff0c;每 10 万次记录一次执行时间。测试 数据分为 128 Bytes、512 Bytes、1 K和 10 K四个不同大小的数据。实验表明&＃xff1a;入队时&＃xff0c;当数据比较小时 Redis 的性能要高于 RabbitMQ&＃xff0c;而如果数据大小超过了 10 K&＃xff0c;Redis 则慢的无法忍受&＃xff1b;出队时&＃xff0c;无论数据大小&＃xff0c;Redis 都表现出非常好的性能&＃xff0c;而 RabbitMQ 的出队性能则远低于Redis。

Kafka/Jafka

Kafka 是 Apache 下的一个子项目&＃xff0c;是一个高性能跨语言分布式 Publish/Subscribe 消息队列系统&＃xff0c;而 Jafka 是在 Kafka 之上孵化而来的&＃xff0c;即 Kafka 的一个升级版。

具有以下特性&＃xff1a;

• 快速持久化&＃xff0c;可以在O(1)的系统开销下进行消息持久化&＃xff1b;
• 高吞吐&＃xff0c;在一台普通的服务器上既可以达到 10 W/s的吞吐速率&＃xff1b;
• 完全的分布式系统&＃xff0c;Broker、Producer、Consumer都原生自动支持分布式&＃xff0c;自动实现复杂均衡&＃xff1b;
• 支持 Hadoop 数据并行加载&＃xff0c;对于像Hadoop的一样的日志数据和离线分析系统&＃xff0c;但又要求实时处理的限制&＃xff0c;这是一个可行的解决方案。

Kafka 通过 Hadoop 的并行加载机制来统一了在线和离线的消息处理。Apache Kafka 相对于 ActiveMQ 是一个非常轻量级的消息系统&＃xff0c;除了性能非常好之外&＃xff0c;还是一个工作良好的分布式系统。

ZeroMQ

ZeroMQ 号称最快的消息队列系统&＃xff0c;尤其针对大吞吐量的需求场景。ZeroMQ 能够实现 RabbitMQ 不擅长的高级 / 复杂的队列&＃xff0c;但是开发人员需要自己组合多种技术框架&＃xff0c;技术上的复杂度是对这 MQ 能够应用成功的挑战。ZeroMQ 具有一个独特的非中间件的模式&＃xff0c;你不需要安装和运行一个消息服务器或中间件&＃xff0c;因为你的应用程序将扮演这个服务器角色。你只需要简单的引用 ZeroMQ 程序库&＃xff0c;可以使用 NuGet 安装&＃xff0c;然后你就可以愉快的在应用程序之间发送消息了。但是 ZeroMQ 仅提供非持久性的队列&＃xff0c;也就是说如果宕机&＃xff0c;数据将会丢失。其中&＃xff0c;Twitter 的 Storm 0.9.0 以前的版本中默认使用 ZeroMQ 作为数据流的传输(Storm 从 0.9 版本开始同时支持 ZeroMQ 和 Netty 作为传输模块)。

ActiveMQ

ActiveMQ 是 Apache 下的一个子项目。 类似于 ZeroMQ&＃xff0c;它能够以代理人和点对点的技术实现队列。同时类似于 RabbitMQ&＃xff0c;它少量代码就可以高效地实现高级应用场景。

原文&＃xff1a;https://www.cnblogs.com/wmyskxz/p/11193189.html

作者独立域名博客&＃xff1a;https://www.wmyskxz.com/2019/07/16/xiao-xi-dui-lie-kan-guo-lai/