如何保证消息不被重复消费（如何保证消息消费时的幂等性）？（四）

关键&＃xff1a;本文档参考中华石杉老师视频&＃xff0c;老师真滴棒&＃xff01;

1.前言

比如Rabbitmq、Rocketmq、Kafka&＃xff0c;都有可能会出现重复消费的问题&＃xff0c;正常。
因为这问题通常不是mq自己保证的&＃xff0c;是给你保证的。
然后我们挑kafka来举个例。

kafka实际上有个offset的概念&＃xff0c;就是每个消息写进去&＃xff0c;都有一个offset&＃xff0c;代表他的序号&＃xff0c;然后consumer消费了数据之后&＃xff0c;每隔一段时间&＃xff0c;会把自己消费过的消息的offset提交一下&＃xff0c;代表我已经消费过了&＃xff0c;下次我要是重启啥的&＃xff0c;你就让我继续从上次消费到的offset来继续消费吧。

其实重复消费不可怕&＃xff0c;可怕的是你没考虑到重复消费之后&＃xff0c;怎么保证幂等性。

假设你有个系统&＃xff0c;消费一条往数据库里插入一条&＃xff0c;要是你一个消息重复两次&＃xff0c;你不就插入了两条&＃xff0c;这数据不就错了&＃xff1f;但是你要是消费到第二次的时候&＃xff0c;自己判断一下已经消费过了&＃xff0c;直接扔了&＃xff0c;不就保留了一条数据&＃xff1f;

一条数据重复出现两次&＃xff0c;数据库里就只有一条数据&＃xff0c;这就保证了系统的幂等性。

幂等性&＃xff0c;我通俗点说&＃xff0c;就一个数据&＃xff0c;或者一个请求&＃xff0c;给你重复来多次&＃xff0c;你得 确保对应的数据是不会改变的&＃xff0c;不能出错。

那所以第二个问题来了&＃xff0c;怎么保证消息队列消费的幂等性&＃xff1f;

其实还是得结合业务来思考&＃xff0c;我这里给几个思路&＃xff1a;
&＃xff08;1&＃xff09;比如你拿个数据要写库&＃xff0c;你先根据主键查一下&＃xff0c;如果这数据都有了&＃xff0c;你就别插入了&＃xff0c;update一下好吧。
&＃xff08;2&＃xff09;比如你是写redis&＃xff0c;那没问题了&＃xff0c;反正每次都是set&＃xff0c;天然幂等性。

&＃xff08;3&＃xff09;比如你不是上面两个场景&＃xff0c;那做的稍微复杂一点&＃xff0c;你需要让生产者发送每条数据的时候&＃xff0c;里面加一个全局唯一的id&＃xff0c;类似订单id之类的东西&＃xff0c;然后你这里消费到了之后&＃xff0c;先根据这个id去比如redis里查一下&＃xff0c;之前消费过吗&＃xff1f;如果没有消费过&＃xff0c;你就处理&＃xff0c;然后这个id写redis。如果消费过了&＃xff0c;那你就别处理了&＃xff0c;保证别重复处理相同的消息即可。

还有比如基于数据库的唯一键来保证重复数据不会重复插入多条&＃xff0c;我们之前线上系统就有这个问题&＃xff0c;就是拿到数据的时候&＃xff0c;每次重启可能会有重复&＃xff0c;因为kafka消费者还没来得及提交offset&＃xff0c;重复数据拿到了以后我们插入的时候&＃xff0c;因为有唯一键约束了&＃xff0c;所以重复数据只会插入报错&＃xff0c;不会导致数据库中出现脏数据。

如何保证MQ的消费是幂等性的&＃xff0c;需要结合具体的业务来看