RabbitMQ和Kafka的区别

kafka是apache开源的消息队列顶级项目之一&＃xff0c;在大数据场景下使用较多&＃xff0c;由linkedin开源&＃xff0c;目前社区活跃&＃xff0c;全球较多组织开始使用kafka来进行数据交换。

RabbitMQ是流行的开源消息队列系统&＃xff0c;用erlang语言开发。RabbitMQ是AMQP&＃xff08;高级消息队列协议&＃xff09;的标准实现。

在实际生产应用中&＃xff0c;通常会使用kafka作为消息传输的数据管道&＃xff0c;rabbitmq作为交易数据作为数据传输管道&＃xff0c;主要的取舍因素则是是否存在丢数据的可能&＃xff1b;

rabbitmq在金融场景中经常使用&＃xff0c;具有较高的严谨性&＃xff0c;数据丢失的可能性更小&＃xff0c;同时具备更高的实时性&＃xff1b;

kafka优势主要体现在吞吐量上&＃xff0c;虽然可以通过策略实现数据不丢失&＃xff0c;但从严谨性角度来讲&＃xff0c;大不如rabbitmq&＃xff1b;而且由于kafka保证每条消息最少送达一次&＃xff0c;有较小的概率会出现数据重复发送的情况&＃xff1b;

1.应用场景方面

RabbitMQ&＃xff1a;用于实时的&＃xff0c;对可靠性要求较高的消息传递上。

kafka&＃xff1a;用于处于活跃的流式数据&＃xff0c;大数据量的数据处理上。

2.架构模型方面

producer&＃xff0c;broker&＃xff0c;consumer

RabbitMQ&＃xff1a;以broker为中心&＃xff0c;有消息的确认机制

kafka&＃xff1a;以consumer为中心&＃xff0c;无消息的确认机制

3.吞吐量方面

RabbitMQ&＃xff1a;支持消息的可靠的传递&＃xff0c;支持事务&＃xff0c;不支持批量操作&＃xff0c;基于存储的可靠性的要求存储可以采用内存或硬盘&＃xff0c;吞吐量小。

kafka&＃xff1a;内部采用消息的批量处理&＃xff0c;数据的存储和获取是本地磁盘顺序批量操作&＃xff0c;消息处理的效率高&＃xff0c;吞吐量高。

4.集群负载均衡方面

RabbitMQ&＃xff1a;本身不支持负载均衡&＃xff0c;需要loadbalancer的支持

kafka&＃xff1a;采用zookeeper对集群中的broker&＃xff0c;consumer进行管理&＃xff0c;可以注册topic到zookeeper上&＃xff0c;通过zookeeper的协调机制&＃xff0c;producer保存对应的topic的broker信息&＃xff0c;可以随机或者轮询发送到broker上&＃xff0c;producer可以基于语义指定分片&＃xff0c;消息发送到broker的某个分片上。

5.应用场景区分

RabbitMQ

1.RabbitMQ的消息应当尽可能的小&＃xff0c;并且只用来处理实时且要高可靠性的消息。

2.消费者和生产者的能力尽量对等&＃xff0c;否则消息堆积会严重影响RabbitMQ的性能。

3.集群部署&＃xff0c;使用热备&＃xff0c;保证消息的可靠性。

Kafka

1.应当有一个非常好的运维监控系统&＃xff0c;不单单要监控Kafka本身&＃xff0c;还要监控Zookeeper。(kafka强烈的依赖于zookeeper,如果zookeeper挂掉了&＃xff0c;那么Kafka也不行了)

2.对消息顺序不依赖&＃xff0c;且不是那么实时的系统。

3.对消息丢失并不那么敏感的系统。

4.从 A 到 B 的流传输&＃xff0c;无需复杂的路由&＃xff0c;最大吞吐量可达每秒 100k 以上。