中间件限流

中间件限流

提高服务器CPU占用率，从而提高整个系统的QPS（吞吐量）。

但吞吐量提高的同时，用户体验是有可能变差的。

从用户角度比较敏感的除可用性之外，还有延时。

虽然系统吞吐量高，但半天刷不出页面，想必会造成大量的用户流失。

所以中间件还要保证服务质量（QOS）。

中间件需要限流管制，要让在线的服务器保持CPU有一定的富余。向用户提供较好的服务质量。

中间件流量限制手段

1）漏桶

中间件每隔固定的时间向外提供一个令牌，只有接到这个令牌的客户端，才能向中间件申请服务，没有令牌的客户端，必须等待。

2）令牌桶

中间件服务请求时需要从桶中获取令牌，如果桶中没有令牌，可以选择等待，或者放弃。

例如：同时有100个用户请求，只要令牌桶中有100个令牌，那么这100个请求就全都会放过去。

令牌桶中没有令牌的情况下会退化为漏桶。

每秒钟向桶里放入N个令牌，超过桶容量的令牌会被直接丢弃。

桶初始是满的。