如何用分库分表的9种分布式主键ID生成方案？感悟分享

分布式事务

随着互联网快速发展&＃xff0c;微服务&＃xff0c;SOA 等服务架构模式正在被大规模的使用&＃xff0c;现在分布式系统一般由多个独立的子系统组成&＃xff0c;多个子系统通过网络通信互相协作配合完成各个功能。

有很多用例会跨多个子系统才能完成&＃xff0c;比较典型的是电子商务网站的下单支付流程&＃xff0c;至少会涉及交易系统和支付系统。而且这个过程中会涉及到事务的概念&＃xff0c;即保证交易系统和支付系统的数据一致性&＃xff0c;此处我们称这种跨系统的事务为分布式事务。
具体一点而言&＃xff0c;分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。

造成雪崩的真实场景

1.4.1 服务提供者不可用

• 硬件故障:如网络故障、硬盘损坏等。

• 程序的 bug:如算法需要占用大量 CPU 的计算时间导致 CPU 使用率过高。

• 缓存击穿:比如应用刚重启&＃xff0c;短时间内缓存是失效的&＃xff0c;导致大量请求直接访问到了数据库&＃xff0c;数据库不堪重负&＃xff0c;服务不可用。

• 秒杀和大促:服务短时间承载不了那么多请求量。

1.4.2 重试加大流量

• 用户连续重试:比如用户看到界面上没有响应&＃xff0c;所以又操作了一遍&＃xff0c;结果又增加了一倍请求量。

• 程序重试机制:比如代码中有多次重试的逻辑&＃xff0c;一次失败后&＃xff0c;过几秒后再重试&＃xff0c;重试个三次就取消重试&＃xff0c;走异常处理分支了。也是增加了请求量。

五、如何防止雪崩

方案

出问题前预防&＃xff1a;限流、主动降级、隔离

出问题后修复&＃xff1a;熔断、被动降级

「本篇主要来讲解熔断机制。」 后续几篇会讲解其他方案。

六、熔断原理和算法

1.6.1 熔断概念

熔断这个概念来源于电路系统中的保险丝熔断。当电流过大时&＃xff0c;保险丝熔断&＃xff0c;防止因电流过大损坏电器元器件&＃xff0c;或因电流过大&＃xff0c;导致元器件热度过高&＃xff0c;发生火灾。

「物理公式」 电功率 P &＃61; I^2 * R&＃xff0c;I 代表电流&＃xff0c;元器件的电阻 R 不变的情况下&＃xff0c;电流越大&＃xff0c;电功率约大&＃xff0c;电阻做的电功大部分都用来发热了&＃xff0c;所以电功率越大&＃xff0c;发热越严重。&＃xff08;还好高中物理没忘。&＃xff09;

放到我们系统中&＃xff0c;怎么理解熔断&＃xff1f;

如果在某段时间内&＃xff0c;调用某个服务非常慢甚至超时&＃xff0c;就可以将这个服务熔断&＃xff0c;后续其他服务再调用这个服务就直接返回&＃xff0c;告诉其他服务&＃xff1a;「“已经熔断了&＃xff0c;你别调用我了&＃xff0c;过段时间再来试下吧。”」

1.6.2 如何熔断

「熔断有个原则」 一段时间内&＃xff0c;统计失败的次数或者失败请求的占比超过一定阈值&＃xff0c;就进行熔断。

详细的原理如下图所示&＃xff1a;

1.6.3 统计请求的算法

• 请求访问到后台服务后&＃xff0c;首先判断熔断开关是否打开。

• 如果熔断开关已打开&＃xff0c;则表明当前请求不能被处理。

• 如果熔断开关未打开&＃xff0c;则判断时间窗口是否已满。

• 如果时间窗口未满&＃xff0c;则请求桶中的请求数加 1。

• 如果返回的响应有异常&＃xff0c;则失败桶的失败数加 1&＃xff0c;如果返回的响应没有异常&＃xff0c;则成功桶的成功数加 1。

• 如果时间窗口已满&＃xff0c;则开始判断是否需要熔断。

1.6.4 熔断的恢复算法

• 当熔断后&＃xff0c;开关切换到断开状态。

• 过一段时间后&＃xff0c;开关切换为半断开状态&＃xff08;Half-Open&＃xff09;。半断开状态下&＃xff0c;允许对应用程序的一定数量的请求可以去调用服务&＃xff0c;如果调用成功&＃xff0c;则认为服务可以正常访问了&＃xff0c;于是将开关切换为闭合状态。

• 如果半断开状态下&＃xff0c;还是有调用失败的情况&＃xff0c;则认为服务还没有恢复&＃xff0c;开关从半断开状态切换到断开状态。

1.6.5 统计失败率的时间窗口

• 时间窗口可以比喻为人坐在窗户边&＃xff0c;看外面来往的车辆&＃xff0c;一定时间内从窗户外经过的车辆。

• 每次请求&＃xff0c;都会判断时间窗口是否已满&＃xff08;如5分钟&＃xff09;&＃xff0c;如果时间窗口已满&＃xff0c;则重新开始计时&＃xff0c;且清理请求数/成功数/失败数。

• 注意&＃xff1a;第一次开始的起始时间默认为当前时间。

1.6.6 尝试恢复服务的时间窗口

• 开关为断开的状态&＃xff0c;经过一定时间后&＃xff0c;比如 1 分钟&＃xff0c;设置为半断开的状态&＃xff0c;尝试发送请求检测服务是否恢复。

• 如果已恢复&＃xff0c;则切换状态为关闭状态。如果未恢复&＃xff0c;则切换状态为断开的状态&＃xff0c;经过 1 分钟后&＃xff0c;重复上面的步骤。

• 这里的时间窗口可以根据环境的运行状态进行动态调整&＃xff0c;比如第一次是 1 分钟&＃xff0c;第二次是 3 分钟&＃xff0c;第三次是 10 分钟。

七、熔断中间件

肯定有人会问了&＃xff0c;你这上面讲的原理&＃xff0c;难道还真的自己去写这套算法&＃xff1f;

「答案&＃xff1a;是的&＃xff0c;项目中我们自己造了一个轮子&＃xff1a;熔断器。」

但这里我不推荐大家这么做。市面上还有更优秀的开源组件供大家使用&＃xff0c;比如阿里系的 Sentinel&＃xff08;推荐&＃xff09;&＃xff0c;Netflix 的 Hystrix&＃xff08;已停止更新&＃xff09;。

当然 Sentinel 就不在这篇讲了&＃xff0c;后续奉上~

ActiveMQ&＃43;Kafka&＃43;RabbitMQ学习笔记PDF

• RabbitMQ实战指南

• 手写RocketMQ笔记

• 手写“Kafka笔记”

关于分布式&＃xff0c;限流&＃43;缓存&＃43;缓存&＃xff0c;这三大技术&＃xff08;包含&＃xff1a;ZooKeeper&＃43;Nginx&＃43;MongoDB&＃43;memcached&＃43;Redis&＃43;ActiveMQ&＃43;Kafka&＃43;RabbitMQ&＃xff09;等等。这些相关的面试也好&＃xff0c;还有手写以及学习的笔记PDF&＃xff0c;都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍&＃xff0c;并且小编也已经将其整理成PDF啦

ginx&＃43;MongoDB&＃43;memcached&＃43;Redis&＃43;ActiveMQ&＃43;Kafka&＃43;RabbitMQ&＃xff09;等等。这些相关的面试也好&＃xff0c;还有手写以及学习的笔记PDF&＃xff0c;都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍&＃xff0c;并且小编也已经将其整理成PDF啦

资料领取方式&＃xff1a;戳这里免费领取