java分布式消息队列_分布式之消息队列的特点、选型、及应用场景详解

什么是消息队列

消息队列(Message Queue&＃xff0c;简称MQ)&＃xff0c;指保存消息的一个容器&＃xff0c;本质是个队列。

消息(Message)是指在应用之间传送的数据&＃xff0c;消息可以非常简单&＃xff0c;比如只包含文本字符串&＃xff0c;也可以更复杂&＃xff0c;可能包含嵌入对象。

消息队列(Message Queue)是一种应用间的通信方式&＃xff0c;消息发送后可以立即返回&＃xff0c;有消息系统来确保信息的可靠专递&＃xff0c;消息发布者只管把消息发布到MQ中而不管谁来取&＃xff0c;消息使用者只管从MQ中取消息而不管谁发布的&＃xff0c;这样发布者和使用者都不用知道对方的存在。

Producer&＃xff1a;消息生产者&＃xff0c;负责产生和发送消息到 Broker&＃xff1b;

Broker&＃xff1a;消息处理中心。负责消息存储、确认、重试等&＃xff0c;一般其中会包含多个 queue&＃xff1b;

Consumer&＃xff1a;消息消费者&＃xff0c;负责从 Broker 中获取消息&＃xff0c;并进行相应处理&＃xff1b;

现在常用的MQ组件有ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ,当然近年来火热的Kafka,从某些场景来说&＃xff0c;也是MQ&＃xff0c;当然kafka的功能更加强大。

虽然不同的MQ都有自己的特点和优势&＃xff0c;但是&＃xff0c;不管是哪种MQ&＃xff0c;都有MQ本身自带的一些特点&＃xff0c;下面&＃xff0c;咱们谈谈消息队列的的特点、优势、选型、以及应用场景。

为什么需要消息队列

在高并发分布式环境下&＃xff0c;由于来不及同步处理&＃xff0c;通过使用消息队列&＃xff0c;可以异步处理请求&＃xff0c;从而缓解系统的压力。

举一个订单系统的例子&＃xff1a;用户点击下订单&＃xff0c;会触发以下业务逻辑流程&＃xff1a;

扣减库存

生成相应的订单

发短信通知等等

在业务发展初期这些逻辑可能放在一起同步执行&＃xff0c;随着业务订单量增长&＃xff0c;需要提升系统服务的性能&＃xff0c;这时候可以将一些不需要立即生效的操作拆分出来异步执行&＃xff0c;比如发短信通知等&＃xff0c;这种场景就可以使用消息队列MQ。

本质还是通过异步来解决同步的系统压力&＃xff0c;所以我们在做架构设计的时候有一个原则&＃xff1a;能异步的就尽量不要同步。

消息队列的优点

1、屏蔽异构平台的细节&＃xff1a;发送方、接收方系统之间不需要了解双方&＃xff0c;只需认识消息。

2、异步&＃xff1a;消息堆积能力&＃xff1b;发送方接收方不需同时在线&＃xff0c;发送方接收方不需同时扩容(削峰)。

3、解耦&＃xff1a;防止引入过多的API给系统的稳定性带来风险&＃xff1b;调用方使用不当会给被调用方系统造成压力&＃xff0c;被调用方处理不当会降低调用方系统的响应能力。

4、复用&＃xff1a;一次发送多次消费。

5、可靠&＃xff1a;一次保证消息的传递。如果发送消息时接收者不可用&＃xff0c;消息队列会保留消息&＃xff0c;直到成功地传递它。

6、提供路由&＃xff1a;发送者无需与接收者建立连接&＃xff0c;双方通过消息队列保证消息能够从发送者路由到接收者&＃xff0c;甚至对于本来网络不易互通的两个服务&＃xff0c;也可以提供消息路由。

消息队列的特点

1.异步性将耗时的同步操作&＃xff0c;通过以发送消息的方式&＃xff0c;进行了异步化处理。减少了同步等待的时间。

2.松耦合消息队列减少了服务之间的耦合性&＃xff0c;不同的服务可以通过消息队列进行通信&＃xff0c;而不用关心彼此的实现细节&＃xff0c;只要定义好消息的格式就行。

3.分布式通过对消费者的横向扩展&＃xff0c;降低了消息队列阻塞的风险&＃xff0c;以及单个消费者产生单点故障的可能性(当然消息队列本身也可以做成分布式集群)。

4.可靠性消息队列一般会把接收到的消息存储到本地硬盘上(当消息被处理完之后&＃xff0c;存储信息根据不同的消息队列实现&＃xff0c;有可能将其删除)&＃xff0c;这样即使应用挂掉或者消息队列本身挂掉&＃xff0c;消息也能够重新加载。

消息队列的选型

1.ActiveMQ

Apache出品&＃xff0c;最早使用的消息队列产品&＃xff0c;时间比较长了&＃xff0c;最近版本更新比较缓慢。

2.RabbitMQ

RabbitMQ是erlang语言开发&＃xff0c;结合erlang语言本身的并发优势&＃xff0c;支持很多的协议&＃xff1a;AMQP&＃xff0c;XMPP, SMTP, STOMP&＃xff0c;也正是如此&＃xff0c;使的它变的非常重量级&＃xff0c;更适合于企业级的开发。性能较好&＃xff0c;但是不利于做二次开发和维护。

3.RocketMQ

阿里开源的消息中间件&＃xff0c;纯Java开发&＃xff0c;具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。

4.ZeroMQ

号称最快的消息队列系统&＃xff0c;尤其针对大吞吐量的需求场景。

扩展性好&＃xff0c;开发比较灵活&＃xff0c;采用C语言实现&＃xff0c;实际上只是一个socket库的重新封装&＃xff0c;如果做为消息队列使用&＃xff0c;需要开发大量的代码。

5.Kafka

Kafka是Apache下的一个子项目&＃xff0c;是一个高性能跨语言分布式发布/订阅消息队列系统&＃xff0c;而Jafka是在Kafka之上孵化而来的&＃xff0c;即Kafka的一个升级版。

6.消息队列的详细比较

7.消息队列总结消息队列的选型需要根据具体应用需求而定&＃xff0c;ZeroMQ小而美&＃xff0c;RabbitMQ大而稳&＃xff0c;Kakfa和RocketMQ快而强劲。

消息队列的应用场景

1.异步处理消息队列的主要特点是异步处理&＃xff0c;主要目的是减少请求响应时间&＃xff0c;实现非核心流程异步化&＃xff0c;提高系统响应性能。

所以典型的使用场景就是将比较耗时而且不需要即时(同步)返回结果的操作&＃xff0c;作为消息放入消息队列。

2.应用解耦

使用了消息队列后&＃xff0c;只要保证消息格式不变&＃xff0c;消息的发送方和接收方并不需要彼此联系&＃xff0c;也不需要受对方的影响&＃xff0c;即解耦。

每个成员不必受其他成员影响&＃xff0c;可以更独立自主&＃xff0c;只通过消息队列MQ来联系。

举一个例子&＃xff1a;用户下订单流程&＃xff0c;下订单后会发生扣库存这个动作&＃xff0c;上游系统订单和下游系统扣库存&＃xff0c;就可以通过上图的消息队列MQ来联系&＃xff0c;扣库存异步化&＃xff0c;从而实现订单系统与库存系统的应用解耦。

3.流量削锋流量削锋也是消息队列中的常用场景&＃xff0c;一般在秒杀或团抢活动中使用广泛。

应用场景&＃xff1a;秒杀活动&＃xff0c;一般会因为流量过大&＃xff0c;导致流量暴增&＃xff0c;应用挂掉。为解决这个问题&＃xff0c;一般需要在应用前端加入消息队列。

4日志处理日志处理是指将消息队列用在日志处理中&＃xff0c;比如Kafka的应用&＃xff0c;解决大量日志传输的问题。

5消息通讯消息队列一般都内置了高效的通信机制&＃xff0c;因此也可以用于单纯的消息通讯&＃xff0c;比如实现点对点消息队列或者聊天室等。

本文由博客一文多发平台 OpenWrite 发布&＃xff01;