微服务下的几个难点问题及常见的解决方案

原文链接&＃xff1a; https://cloud.tencent.com/developer/news/136205

1背景介绍

1.1 幂等性定义

数学定义

在数学里&＃xff0c;幂等有两种主要的定义&＃xff1a;

在某二元运算下&＃xff0c;幂等元素是指被自己重复运算(或对于函数是为复合)的结果等于它自己的元素。例如&＃xff0c;乘法下唯一两个幂等实数为0和1&＃xff0c;即s*s&＃61;s

某一元运算为幂等的时&＃xff0c;其作用在任一元素两次后会和其作用一次的结果相同。例如&＃xff0c;高斯符号便是幂等的&＃xff0c;即f(f(x))&＃61;f(x)

HTTP规范定义

在HTTP/1.1规范中幂等性的定义是&＃xff1a;

A request method is considered "idempotent" if the intended effect onthe server of multiple identical requests with that method is the same as the effect for a single such request. Of the request methods defined by this specification, PUT, DELETE, and safe request methods are idempotent.

HTTP的幂等性指的是一次和多次请求某一个资源应该具有相同的副作用。如通过PUT接口将数据的Status置为1&＃xff0c;无论是第一次执行还是多次执行&＃xff0c;获取到的结果应该是相同的&＃xff0c;即执行完成之后Status &＃61;1。

1.2 幂等概念

微服务架构中&＃xff0c;幂等是一致性方面的一个重要概念。幂等&＃xff08;Idempotent&＃xff09;是一个数学领域与计算机学的概念&＃xff0c;常见于抽象代数中。而在编程中&＃xff0c;一个幂等操作的特点是指其任意多次执行所产生的影响均与一次执行的影响相同。

有人会简单的认为&＃xff0c;直接禁止所有重试即可。然而&＃xff0c;重试是降低微服务失败率的重要手段。因为网络波动、系统资源分配的不确定性、跨机房的请求等等原因&＃xff0c;都会或多或少的导致一小部分请求的失败。而这部分失败的请求中&＃xff0c;又有大部分请求其实只需要简单重试几次&＃xff0c;即可成功。

1.3 重试机制

降低微服务失败率

提高至四个或五个9

提高微服务架构的容错性

提高微服务架构的高可靠性

2 幂等分析

2.1 幂等场景

可能会发生重复请求或消费的场景&＃xff0c;在微服务架构中是随处可见的。以下是笔者梳理的几个常见场景&＃xff1a;

网络波动&＃xff1a;因网络波动&＃xff0c;可能会引起重复请求

分布式消息消费&＃xff1a;任务发布后&＃xff0c;使用分布式消息服务来进行消费

用户重复操作&＃xff1a;用户在使用产品时&＃xff0c;可能会无意的触发多笔交易&＃xff0c;甚至没有响应而有意触发多笔交易

未关闭的重试机制&＃xff1a;因开发人员、测试人员或运维人员没有检查出来&＃xff0c;而开启的重试机制&＃xff08;如Nginx重试、RPC通信重试或业务层重试等&＃xff09;

2.2 CRUD分析

新增类请求&＃xff08;C&＃xff09;

数据库自增主键&＃xff0c;不具备幂等性

查询类动作&＃xff08;R&＃xff09;

重复查询不会产生或变更新的数据&＃xff0c;因此查询是天然具备幂等性

更新类请求&＃xff08;U&＃xff09;

基于主键的计算式Update&＃xff0c;不具备幂等性&＃xff0c;即&＃xff1a;

基于主键的非计算式Update&＃xff0c;具备幂等性&＃xff0c;即&＃xff1a;

基于条件查询的Update&＃xff0c;不一定具有幂等性&＃xff08;需要根据实际情况进行分析判断&＃xff09;

删除类请求&＃xff08;D&＃xff09;

基于主建的Delete具备幂等性

一般业务层面都是逻辑删除&＃xff08;即Update操作&＃xff09;&＃xff0c;而基于主键的逻辑删除操作也是具有幂等性的

2.3 幂等重要性

针对一个微服务架构&＃xff0c;如果不支持幂等操作&＃xff0c;那将会出现以下情况&＃xff1a;

电商超卖现象

重复转账、扣款或付款

重复增加金币、积分或优惠券

超卖现象

比如某商品的库存为1&＃xff0c;此时用户1和用户2并发购买该商品&＃xff0c;用户1提交订单后该商品的库存被修改为0&＃xff0c;而此时用户2并不知道的情况下提交订单&＃xff0c;该商品的库存再次被修改为-1这就是超卖现象。

究其深层原因&＃xff0c;是因为数据库底层的写操作和读操作可以同时进行&＃xff0c;虽然写操作默认带有隐式锁&＃xff08;即对同一数据不能同时进行写操作&＃xff09;但是读操作默认是不带锁的&＃xff0c;所以当用户1去修改库存的时候&＃xff0c;用户2依然可以都到库存为1&＃xff0c;所以出现了超卖现象。

解决方案A&＃xff1a;可以对读操作加上显式锁&＃xff08;即在select …语句最后加上for update&＃xff09;这样一来用户1在进行读操作时用户2就需要排队等待了。但问题来了&＃xff0c;如果该商品很热门并发量很高那么效率就会大大的下降&＃xff0c;如何解决呢&＃xff1f;(解决方案B)

解决方案B&＃xff1a;我们可以有条件有选择的在读操作上加锁&＃xff0c;比如可以对库存做一个判断&＃xff0c;当库存小于一个量时开始加锁&＃xff0c;让购买者排队&＃xff0c;这样一来就解决了超卖现象。

3 何种接口提供幂等性

3.1 HTTP幂等性

在HTTP规范中定义GET、PUT和DELETE方法应该具有幂等性&＃xff0c;具体如下&＃xff1a;

GET方法

The GET method requests transfer of a current selected representatiofor the target resourceGET is the primary mechanism of information retrieval and the focus of almost all performance optimizations. Hence, when people speak of retrieving some identifiable information via HTTP, they are generally referring to making a GET request.

GET方法是向服务器查询&＃xff0c;不会对系统产生副作用&＃xff0c;具有幂等性&＃xff08;不代表每次请求都是相同的结果&＃xff09;。

PUT方法

The PUT method requests that the state of the target resource be created or replaced with the state defined by the representation enclosed in the request message payload.

也就是说PUT方法首先判断系统中是否有相关的记录&＃xff0c;如果有记录则更新该记录&＃xff0c;如果没有则新增记录。

DELETE 方法

The DELETE method requests that the origin server remove the association between the target resource and its current functionality. In effect, this method is similar to the rm command in UNIX: it expresses a deletion operation on the URI mapping of the origin server rather than an expectation that the previously associated information be deleted.

DELETE方法是删除服务器上的相关记录。

3.2 实际业务案例

现在简化为这样一个系统&＃xff0c;用户购买商品的订单系统与支付系统&＃xff1b;订单系统负责记录用户的购买记录已经订单的流转状态&＃xff08;orderStatus),支付系统用于付款&＃xff0c;提供&＃xff1a;

订单系统与支付系统通过分布式网络交互描述如下&＃xff1a;

订单幂等性

这种情况下&＃xff0c;支付系统已经扣款&＃xff0c;但是订单系统因为网络原因&＃xff0c;没有获取到确切的结果&＃xff0c;因此订单系统需要重试。由上图可见&＃xff0c;支付系统并没有做到接口的幂等性&＃xff0c;订单系统第一次调用和第二次调用&＃xff0c;用户分别被扣了两次钱&＃xff0c;不符合幂等性原则&＃xff08;同一个订单&＃xff0c;无论是调用了多少次&＃xff0c;用户都只会扣款一次&＃xff09;。如果需要支持幂等性&＃xff0c;付款接口需要修改为以下接口&＃xff1a;

通过orderId来标定订单的唯一性&＃xff0c;付款系统只要检测到订单已经支付过&＃xff0c;则第二次调用不会扣款而会直接返回结果&＃xff1a;

订单支持幂等性

在不同的业务中不同接口需要有不同的幂等性&＃xff0c;特别是在分布式系统中&＃xff0c;因为网络原因而未能得到确定的结果&＃xff0c;往往需要支持接口幂等性。

3.3 分布式应用幂等性

随着分布式应用及微服务的普及&＃xff0c;因为网络原因而导致调用应用未能获取到确切的结果从而导致重试&＃xff0c;这就需要被调用应用具有幂等性。例如上文所阐述的支付系统&＃xff0c;针对同一个订单保证支付的幂等性&＃xff0c;一旦订单的支付状态确定之后&＃xff0c;以后的操作都会返回相同的结果&＃xff0c;对用户的扣款也只会有一次。这种接口的幂等性&＃xff0c;简化到数据层面的操作&＃xff1a;

其中value是用户要减少的订单&＃xff0c;paystatus代表支付状态&＃xff0c;paid代表已经支付&＃xff0c;unpay代表未支付&＃xff0c;orderid是订单号。在上文中提到的订单系统&＃xff0c;订单具有自己的状态&＃xff08;orderStatus),订单状态存在一定的流转。订单首先有提交&＃xff08;0&＃xff09;→付款中&＃xff08;1&＃xff09;→付款成功&＃xff08;2&＃xff09;/ 付款失败&＃xff08;3&＃xff09;&＃xff0c;简化之后其流转路径如图&＃xff1a;

订单状态流转的幂等性

当orderStatus &＃61; 1 时&＃xff0c;其前置状态只能是0&＃xff0c;也就是说将orderStatus由0->1 是需要幂等性的&＃xff1a;

当orderStatus 处于0&＃xff0c;1两种状态时&＃xff0c;对订单执行0->1 的状态流转操作应该是具有幂等性的。这时候需要在执行update操作之前检测orderStatus是否已经&＃61;1&＃xff0c;如果已经&＃61;1则直接返回true即可。

但是如果此时orderStatus &＃61; 2,再进行订单状态0->1 时操作就无法成功&＃xff0c;但是幂等性是针对同一个请求的&＃xff0c;也就是针对同一个requestid保持幂等&＃xff0c;这时候再执行&＃xff1a;

接口会返回失败&＃xff0c;系统没有产生修改&＃xff0c;如果再发一次&＃xff0c;requestid是相同的&＃xff0c;对系统同样没有产生修改。

4 解决方案

4.1 全局唯一ID

如果使用全局唯一ID&＃xff0c;就是根据业务的操作和内容生成一个全局ID&＃xff0c;在执行操作前先根据这个全局唯一ID是否存在&＃xff0c;来判断这个操作是否已经执行。如果不存在则把全局ID&＃xff0c;存储到存储系统中&＃xff0c;比如数据库、Redis等。如果存在则表示该方法已经执行。

使用全局唯一ID是一个通用方案&＃xff0c;可以支持插入、更新、删除业务操作。但是这个方案看起来很美但是实现起来比较麻烦&＃xff0c;下面的方案适用于特定的场景&＃xff0c;但是实现起来比较简单。

4.2 去重表

这种方法适用于在业务中有唯一标的插入场景中&＃xff0c;比如在以上的支付场景中&＃xff0c;如果一个订单只会支付一次&＃xff0c;所以订单ID可以作为唯一标识。这时&＃xff0c;我们就可以建一张去重表&＃xff0c;并且把唯一标识作为唯一索引&＃xff0c;在我们实现时&＃xff0c;把创建支付单据和写入去去重表&＃xff0c;放在一个事务中&＃xff0c;如果重复创建&＃xff0c;数据库会抛出唯一约束异常&＃xff0c;操作就会回滚。

4.3 插入或更新

这种方法插入并且有唯一索引的情况&＃xff0c;比如我们要关联商品品类&＃xff0c;其中商品的ID和品类的ID可以构成唯一索引&＃xff0c;并且在数据表中也增加了唯一索引。这时就可以使用InsertOrUpdate操作。在mysql数据库中如下&＃xff1a;

4.4 多版本控制

这种方法适合在更新的场景中&＃xff0c;比如我们要更新商品的名字&＃xff0c;这时我们就可以在更新的接口中增加一个版本号&＃xff0c;来做幂等&＃xff1a;

在实现时可以如下&＃xff1a;

4.5 状态机控制

这种方法适合在有状态机流转的情况下&＃xff0c;比如就会订单的创建和付款&＃xff0c;订单的付款肯定是在之前&＃xff0c;这时我们可以通过在设计状态字段时&＃xff0c;使用int类型&＃xff0c;并且通过值类型的大小来做幂等&＃xff0c;比如订单的创建为0&＃xff0c;付款成功为100&＃xff0c;付款失败为99。在做状态机更新时&＃xff0c;我们就这可以这样控制&＃xff1a;

以上就是保证接口幂等性的一些方法。

5 总结

幂等性设计不能脱离业务来讨论&＃xff0c;一般情况下&＃xff0c;去重表同时也是业务数据表&＃xff0c;而针对分布式的去重ID&＃xff0c;可以参考以下几种方式&＃xff1a;

UUID

Snowflake

数据库自增ID

业务本身的唯一约束

业务字段&＃43;时间戳拼接