guid会不会重复_Kafka的消息会丢失和重复吗？如何实现Kafka精确传递一次语义

我们都知道Kafka的吞吐量很大&＃xff0c;但是Kafka究竟会不会丢失消息呢&＃xff1f;又会不会重复消费消息呢&＃xff1f;

​ 有很多公司因为业务要求必须保证消息不丢失、不重复的到达&＃xff0c;比如无人机实时监控系统&＃xff0c;当无人机闯入机场区域&＃xff0c;我们必须立刻报警&＃xff0c;不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息重复了呢&＃xff0c;我们是否需要复杂的逻辑来自己处理消息重复的情况呢&＃xff0c;这种情况恐怕相当复杂而难以处理。但是如果我们能保证消息exactly once&＃xff0c;那么一切都容易得多。

下面我们来简单了解一下消息传递语义&＃xff0c;以及kafka的消息传递机制。

首先我们要了解的是 message delivery semantic 也就是消息传递语义。

这是一个通用的概念&＃xff0c;也就是消息传递过程中消息传递的保证性。

分为三种&＃xff1a;

最多一次( at most once ): 消息可能丢失也可能被处理&＃xff0c;但最多只会被处理一次。

可能丢失 不会重复

至少一次( at least once ): 消息不会丢失&＃xff0c;但可能被处理多次。

可能重复 不会丢失

精确传递一次( exactly once ): 消息被处理且只会被处理一次。

不丢失 不重复 就一次

而kafka其实有两次消息传递&＃xff0c;一次生产者发送消息给kafka&＃xff0c;一次消费者去kafka消费消息。

两次传递都会影响最终结果&＃xff0c;

两次都是精确一次&＃xff0c;最终结果才是精确一次。

两次中有一次会丢失消息&＃xff0c;或者有一次会重复&＃xff0c;那么最终的结果就是可能丢失或者重复的。

一、Produce端消息传递

这是producer端的代码&＃xff1a;

Properties properties &＃61; new Properties(); properties.put("bootstrap.servers