Redis处理接口幂等性的两种方案

前言&＃xff1a;接口幂等性问题&＃xff0c;对于开发人员来说&＃xff0c;是一个跟语言无关的公共问题。对于一些用户请求&＃xff0c;在某些情况下是可能重复发送的&＃xff0c;如果是查询类操作并无大碍&＃xff0c;但其中有些是涉及写入操作的&＃xff0c;一旦重复了&＃xff0c;可能会导致很严重的后果&＃xff0c;例如交易的接口如果重复请求可能会重复下单。接口幂等性是指用户对于同一操作发起的一次请求或者多次请求的结果是一致的&＃xff0c;不会因为多次点击而产生了副作用。

一、接口幂等性

1.1、什么是接口幂等性

在HTTP/1.1中&＃xff0c;对幂等性进行了定义。它描述了一次和多次请求某一个资源对于资源本身应该具有同样的结果&＃xff0c;即第一次请求的时候对资源产生了副作用&＃xff0c;但是以后的多次请求都不会再对资源产生副作用。这里的副作用是不会对结果产生破坏或者产生不可预料的结果。也就是说&＃xff0c;其任意多次执行对资源本身所产生的影响均与一次执行的影响相同。

这类问题多发于接口的&＃xff1a;

• insert操作&＃xff0c;这种情况下多次请求&＃xff0c;可能会产生重复数据。

• update操作&＃xff0c;如果只是单纯的更新数据&＃xff0c;比如&＃xff1a;update user set status&＃61;1 where id&＃61;1&＃xff0c;是没有问题的。如果还有计算&＃xff0c;比如&＃xff1a;update user set status&＃61;status&＃43;1 where id&＃61;1&＃xff0c;这种情况下多次请求&＃xff0c;可能会导致数据错误。

1.2、为什么需要实现幂等性

在接口调用时一般情况下都能正常返回信息不会重复提交&＃xff0c;不过在遇见以下情况时可以就会出现问题&＃xff0c;如&＃xff1a;

• 前端重复提交表单&＃xff1a; 在填写一些表格时候&＃xff0c;用户填写完成提交&＃xff0c;很多时候会因网络波动没有及时对用户做出提交成功响应&＃xff0c;致使用户认为没有成功提交&＃xff0c;然后一直点提交按钮&＃xff0c;这时就会发生重复提交表单请求。

• 用户恶意进行刷单&＃xff1a; 例如在实现用户投票这种功能时&＃xff0c;如果用户针对一个用户进行重复提交投票&＃xff0c;这样会导致接口接收到用户重复提交的投票信息&＃xff0c;这样会使投票结果与事实严重不符。

• 接口超时重复提交&＃xff1a; 很多时候 HTTP 客户端工具都默认开启超时重试的机制&＃xff0c;尤其是第三方调用接口时候&＃xff0c;为了防止网络波动超时等造成的请求失败&＃xff0c;都会添加重试机制&＃xff0c;导致一个请求提交多次。

• 消息进行重复消费&＃xff1a; 当使用 MQ 消息中间件时候&＃xff0c;如果发生消息中间件出现错误未及时提交消费信息&＃xff0c;导致发生重复消费。

本文讨论的是如何在服务端优雅地统一处理这种接口幂等性情况&＃xff0c;如何禁止用户重复点击等客户端操作不在此次讨论范围。

1.3、引入幂等性后对系统的影响

幂等性是为了简化客户端逻辑处理&＃xff0c;能放置重复提交等操作&＃xff0c;但却增加了服务端的逻辑复杂性和成本&＃xff0c;其主要是&＃xff1a;

• 把并行执行的功能改为串行执行&＃xff0c;降低了执行效率。

• 增加了额外控制幂等的业务逻辑&＃xff0c;复杂化了业务功能&＃xff1b;

所以在使用时候需要考虑是否引入幂等性的必要性&＃xff0c;根据实际业务场景具体分析&＃xff0c;除了业务上的特殊要求外&＃xff0c;一般情况下不需要引入的接口幂等性。

二、如何设计幂等

幂等意味着一条请求的唯一性。不管是你哪个方案去设计幂等&＃xff0c;都需要一个全局唯一的ID &＃xff0c;去标记这个请求是独一无二的。

• 如果你是利用唯一索引控制幂等&＃xff0c;那唯一索引是唯一的

• 如果你是利用数据库主键控制幂等&＃xff0c;那主键是唯一的

• 如果你是悲观锁的方式&＃xff0c;底层标记还是全局唯一的ID

2.1、全局的唯一性ID

全局唯一性ID&＃xff0c;我们怎么去生成呢&＃xff1f;你可以回想下&＃xff0c;数据库主键Id怎么生成的呢&＃xff1f;

是的&＃xff0c;我们可以使用UUID&＃xff0c;但是UUID的缺点比较明显&＃xff0c;它字符串占用的空间比较大&＃xff0c;生成的ID过于随机&＃xff0c;可读性差&＃xff0c;而且没有递增。

我们还可以使用雪花算法&＃xff08;Snowflake&＃xff09; 生成唯一性ID。

雪花算法是一种生成分布式全局唯一ID的算法&＃xff0c;生成的ID称为Snowflake IDs。这种算法由Twitter创建&＃xff0c;并用于推文的ID。

一个Snowflake ID有64位。

• 第1位&＃xff1a;Java中long的最高位是符号位代表正负&＃xff0c;正数是0&＃xff0c;负数是1&＃xff0c;一般生成ID都为正数&＃xff0c;所以默认为0。

• 接下来前41位是时间戳&＃xff0c;表示了自选定的时期以来的毫秒数。

• 接下来的10位代表计算机ID&＃xff0c;防止冲突。

• 其余12位代表每台机器上生成ID的序列号&＃xff0c;这允许在同一毫秒内创建多个Snowflake ID。

 当然&＃xff0c;全局唯一性的ID&＃xff0c;还可以使用百度的Uidgenerator&＃xff0c;或者美团的Leaf。

2.2、幂等设计的基本流程

幂等处理的过程&＃xff0c;说到底其实就是过滤一下已经收到的请求&＃xff0c;当然&＃xff0c;请求一定要有一个全局唯一的ID标记哈。然后&＃xff0c;怎么判断请求是否之前收到过呢&＃xff1f;把请求储存起来&＃xff0c;收到请求时&＃xff0c;先查下存储记录&＃xff0c;记录存在就返回上次的结果&＃xff0c;不存在就处理请求。

一般的幂等处理就是这样&＃xff0c;如下&＃xff1a;

三、接口幂等性常见解决方案

3.1、下游传递唯一请求编号

可能会想到的是&＃xff0c;只要请求有唯一的请求编号&＃xff0c;那么就能借用Redis做这个去重——只要这个唯一请求编号在Redis存在&＃xff0c;证明处理过&＃xff0c;那么就认为是重复的。

方案描述&＃xff1a;

所谓唯一请求序列号&＃xff0c;其实就是每次向服务端请求时候附带一个短时间内唯一不重复的序列号&＃xff0c;该序列号可以是一个有序 ID&＃xff0c;也可以是一个订单号&＃xff0c;一般由下游生成&＃xff0c;在调用上游服务端接口时附加该序列号和用于认证的 ID。

当上游服务器收到请求信息后拿取该 序列号 和下游 认证ID 进行组合&＃xff0c;形成用于操作 Redis 的 Key&＃xff0c;然后到 Redis 中查询是否存在对应的 Key 的键值对&＃xff0c;根据其结果&＃xff1a;

• 如果存在&＃xff0c;就说明已经对该下游的该序列号的请求进行了业务处理&＃xff0c;这时可以直接响应重复请求的错误信息。

• 如果不存在&＃xff0c;就以该 Key 作为 Redis 的键&＃xff0c;以下游关键信息作为存储的值&＃xff08;例如下游商传递的一些业务逻辑信息&＃xff09;&＃xff0c;将该键值对存储到 Redis 中 &＃xff0c;然后再正常执行对应的业务逻辑即可。

适用操作&＃xff1a;

• 插入操作

• 更新操作

• 删除操作

使用限制&＃xff1a;

• 要求第三方传递唯一序列号&＃xff1b;

• 需要使用第三方组件 Redis 进行数据效验&＃xff1b;

主要流程&＃xff1a;

 主要步骤&＃xff1a;

• ① 下游服务生成分布式 ID 作为序列号&＃xff0c;然后执行请求调用上游接口&＃xff0c;并附带“唯一序列号”与请求的“认证凭据ID”。

• ② 上游服务进行安全效验&＃xff0c;检测下游传递的参数中是否存在“序列号”和“凭据ID”。

• ③ 上游服务到 Redis 中检测是否存在对应的“序列号”与“认证ID”组成的 Key&＃xff0c;如果存在就抛出重复执行的异常信息&＃xff0c;然后响应下游对应的错误信息。如果不存在就以该“序列号”和“认证ID”组合作为 Key&＃xff0c;以下游关键信息作为 Value&＃xff0c;进而存储到 Redis 中&＃xff0c;然后正常执行接来来的业务逻辑。

上面步骤中插入数据到 Redis 一定要设置过期时间。这样能保证在这个时间范围内&＃xff0c;如果重复调用接口&＃xff0c;则能够进行判断识别。如果不设置过期时间&＃xff0c;很可能导致数据无限量的存入 Redis&＃xff0c;致使 Redis 不能正常工作。

3.2、防重 Token 令牌

方案描述&＃xff1a;

针对客户端连续点击或者调用方的超时重试等情况&＃xff0c;例如提交订单&＃xff0c;此种操作就可以用 Token 的机制实现防止重复提交。简单的说就是调用方在调用接口的时候先向后端请求一个全局 ID&＃xff08;Token&＃xff09;&＃xff0c;请求的时候携带这个全局 ID 一起请求&＃xff08;Token 最好将其放到 Headers 中&＃xff09;&＃xff0c;后端需要对这个 Token 作为 Key&＃xff0c;用户信息作为 Value 到 Redis 中进行键值内容校验&＃xff0c;如果 Key 存在且 Value 匹配就执行删除命令&＃xff0c;然后正常执行后面的业务逻辑。如果不存在对应的 Key 或 Value 不匹配就返回重复执行的错误信息&＃xff0c;这样来保证幂等操作。

使用限制&＃xff1a;

• 需要生成全局唯一 Token 串&＃xff1b;

• 需要使用第三方组件 Redis 进行数据效验&＃xff1b;

主要流程&＃xff1a;

• ① 服务端提供获取 Token 的接口&＃xff0c;该 Token 可以是一个序列号&＃xff0c;也可以是一个分布式 ID 或者 UUID 串。

• ② 客户端调用接口获取 Token&＃xff0c;这时候服务端会生成一个 Token 串。

• ③ 然后将该串存入 Redis 数据库中&＃xff0c;以该 Token 作为 Redis 的键&＃xff08;注意设置过期时间&＃xff09;。

• ④ 将 Token 返回到客户端&＃xff0c;客户端拿到后应存到表单隐藏域中。

• ⑤ 客户端在执行提交表单时&＃xff0c;把 Token 存入到 Headers 中&＃xff0c;执行业务请求带上该 Headers。

• ⑥ 服务端接收到请求后从 Headers 中拿到 Token&＃xff0c;然后根据 Token 到 Redis 中查找该 key 是否存在。

• ⑦ 服务端根据 Redis 中是否存该 key 进行判断&＃xff0c;如果存在就将该 key 删除&＃xff0c;然后正常执行业务逻辑。如果不存在就抛异常&＃xff0c;返回重复提交的错误信息。

注意&＃xff0c;在并发情况下&＃xff0c;执行 Redis 查找数据与删除需要保证原子性&＃xff0c;否则很可能在并发下无法保证幂等性。其实现方法可以使用分布式锁或者使用 Lua 表达式来注销查询与删除操作。

参考链接&＃xff1a;

阿里面试官&＃xff1a;接口的幂等性怎么设计&＃xff1f;

优雅地处理重复请求&＃xff08;并发请求&＃xff09;

SpringBoot 接口幂等性实现的 4 种方案&＃xff01;这个我真的服气了&＃xff01;