c++分布式令牌桶_分布式系统限流算法剖析：漏桶与令牌桶

限流机制主要用于对流入系统的请求流量进行限制&＃xff0c;保证在任何时候进入系统的请求流 量都是可控的。即不能超过系统预设的最大流量值&＃xff0c;超过则需要排队等待或者直接拒绝&＃xff0c;从 而避免高并发流量全部涌入系统&＃xff0c;导致超出了系统的处理能力而出现系统机器宕机和服务不 可用问题。

限流机制在实现层面&＃xff0c;一般是基于漏桶算法或令牌桶算法来实现的&＃xff0c;如下对这两种算法进行具体分析。

对于漏桶算法&＃xff0c;首先可以抽象为在业务服务前面&＃xff0c;放置了一个漏桶来接收请求流量&＃xff0c;然 后在漏桶中开一个指定大小的口来将这些请求流量流出给业务服务处理。由于漏桶的口是固 定的&＃xff0c;故交给业务服务处理的请求流量也是固定的&＃xff0c;而不会受到流入漏桶的请求流量的大小 的影响。如图所示&＃xff1a;

即如果请求流量较小&＃xff0c;则可以直接通过该漏桶的口流出给业务服务处理&＃xff1b;如果请求 流量过大&＃xff0c;该口无法及时流出个业务服务处理&＃xff0c;则首先会在漏桶中累计。在实际实现当中可 以使用有界队列来实现请求的累计&＃xff0c;如果请求流量占满了漏桶空间&＃xff0c;则后续请求会溢出&＃xff0c;即 请求被直接拒绝。

所以通过漏桶交给业务服务处理的请求流量是可控的&＃xff0c;以及根据漏桶口的大小以恒定速 率流出请求流程给业务服务处理&＃xff0c;不会受到突发流量的影响&＃xff0c;从而避免了突发的、超过服务 处理能力的高并发请求流量压垮业务服务。

与漏桶算法将请求流入到漏桶&＃xff0c;然后由漏桶流出给业务服务处理不同&＃xff0c;在令牌桶算法中&＃xff0c; 每个请求在交给业务服务处理之前&＃xff0c;都需要首先从令牌桶获取一个令牌&＃xff0c;如果获取成功则可 以交给对应的业务服务处理&＃xff0c;如果获取失败则需要等待或者直接拒绝。如图所示&＃xff1a;

令牌桶中的令牌是业务服务根据自身处理能力来以恒定的速率添加到令牌桶的&＃xff0c;如 200r/s&＃xff0c;每秒 200 个&＃xff0c;则业务服务每秒最多可以处理 200 个请求&＃xff0c;超过的请求则需要阻塞等 待或者被拒绝。而每秒添加令牌可以一次性添加&＃xff0c;也可以分多次添加&＃xff0c;不过一般是分多次添 加&＃xff0c;如 200r/s 可以是是每 500 毫秒添加 100 个。

除此之外&＃xff0c;如果每秒的请求个数达不到每秒投放到令牌桶的令牌的个数&＃xff0c;如实际请求为 每秒 100 个&＃xff0c;而业务服务投放令牌到令牌桶为每秒 200 个&＃xff0c;故此时的请求流量低于业务服务 的指定速率。所以多余的令牌会在令牌桶累计&＃xff0c;直到到达该桶的大小&＃xff0c;如令牌桶可以最多存 放 500 个&＃xff0c;超过的令牌则直接丢弃。其中令牌桶的大小也是按照业务服务的最大处理能力来 设定的&＃xff0c;如业务服务每秒处理 200 个性能是最好的&＃xff0c;但是也可以接收 500 个请求的突发流量。

由于业务服务会继续以指定速率添加令牌&＃xff0c;故如果实际的请求达到的速率一直达不到令牌投放的速率&＃xff0c;则一段时间后令牌桶会保持有 500 个令牌。如果之后某段时间突然有 500 个请求过来&＃xff0c;则这 500 个请求可以交给业务服务处理。

所以与漏桶算法相比&＃xff0c;令牌桶算法除了支持对请求流量进行控制&＃xff0c;使得请求流量以指定 速率交给业务服务处理之外&＃xff0c;还支持处理异常突发流量&＃xff0c;从而实现对业务服务最大处理能力 的利用。