主流消息中间件对比消息发送性能

引言

分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。

那么,消息中间件性能究竟哪家强?

带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。

Kafka是LinkedIn开源的分布式发布-订阅消息系统&＃xff0c;目前归属于Apache顶级项目。Kafka主要特点是基于Pull的模式来处理消息消费&＃xff0c;追求高吞吐量&＃xff0c;一开始的目的就是用于日志收集和传输。0.8版本开始支持复制&＃xff0c;不支持事务&＃xff0c;对消息的重复、丢失、错误没有严格要求&＃xff0c;适合产生大量数据的互联网服务的数据收集业务。

RabbitMQ是使用Erlang语言开发的开源消息队列系统&＃xff0c;基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由&＃xff08;包括点对点和发布/订阅&＃xff09;、可靠性、安全。AMQP协议更多用在企业系统内&＃xff0c;对数据一致性、稳定性和可靠性要求很高的场景&＃xff0c;对性能和吞吐量的要求还在其次。

RocketMQ是阿里开源的消息中间件&＃xff0c;它是纯Java开发&＃xff0c;具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka&＃xff0c;但并不是Kafka的一个Copy&＃xff0c;它对消息的可靠传输及事务性做了优化&＃xff0c;目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。

测试目的

对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:

不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。

测试场景

在同步发送场景中&＃xff0c;三个消息中间件的表现区分明显&＃xff1a;

Kafka的吞吐量高达17.3w/s&＃xff0c;不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。

RocketMQ也表现不俗&＃xff0c;吞吐量在11.6w/s&＃xff0c;磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack&＃xff0c;由单独的线程专门做刷盘的操作&＃xff0c;所有的消息均是顺序写文件。

RabbitMQ的吞吐量5.95w/s&＃xff0c;CPU资源消耗较高。它支持AMQP协议&＃xff0c;实现非常重量级&＃xff0c;为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试&＃xff0c;吞吐量在2.6w/s左右。

测试结论

在服务端处理同步发送的性能上&＃xff0c;Kafka>RocketMQ>RabbitMQ。

附录&＃xff1a;

测试环境

服务端为单机部署&＃xff0c;机器配置如下&＃xff1a;

应用版本&＃xff1a;

测试脚本

未完待续

前面我们对比了最简单的小消息发送场景,Kafka暂时胜出。但是,作为经受过历次双十一洗礼的RocketMQ,在互联网应用场景中更有它优越的一面。

版权申明&＃xff1a;内容来源网络&＃xff0c;版权归原创者所有。如有侵权烦请告知&＃xff0c;我们会尽快删除并表示歉意。谢谢。原文链接&＃xff1a;

http://jm.taobao.org/2016/04/01/kafka-vs-rabbitmq-vs-rocketmq-message-send-performance/