谈谈在项目中，如何应对高并发流量

谈谈在项目中&＃xff0c;如何应对高并发流量

前言

应对大流量的一些思路

限流的常用方式

限流神器&＃xff1a;Guava RateLimiter

分布式场景下的限流

前言

在实际项目中&＃xff0c;曾经遭遇过线上5W&＃43;QPS的峰值&＃xff0c;也在压测状态下经历过10W&＃43;QPS的大流量请求&＃xff0c;本篇博客的话题主要就是自己对高并发流量控制的一点思考。

应对大流量的一些思路

“
首先&＃xff0c;我们来说一下什么是大流量&＃xff1f;
大流量&＃xff0c;我们很可能会冒出&＃xff1a;TPS&＃xff08;每秒事务量&＃xff09;&＃xff0c;QPS&＃xff08;每秒请求量&＃xff09;&＃xff0c;1W&＃43;&＃xff0c;5W&＃43;&＃xff0c;10W&＃43;&＃xff0c;100W&＃43;…。其实并没有一个绝对的数字&＃xff0c;如果这个量造成了系统的压力&＃xff0c;影响了系统的性能&＃xff0c;那么这个量就可以称之为大流量了。

其次&＃xff0c;应对大流量的一些常见手段是什么&＃xff1f;
缓存&＃xff1a;说白了&＃xff0c;就是让数据尽早进入缓存&＃xff0c;离程序近一点&＃xff0c;不要大量频繁的访问DB。
降级&＃xff1a;如果不是核心链路&＃xff0c;那么就把这个服务降级掉。打个比喻&＃xff0c;现在的APP都讲究千人千面&＃xff0c;拿到数据后&＃xff0c;做个性化排序展示&＃xff0c;如果在大流量下&＃xff0c;这个排序就可以降级掉&＃xff01;
限流&＃xff1a;大家都知道&＃xff0c;北京地铁早高峰&＃xff0c;地铁站都会做一件事情&＃xff0c;就是限流了&＃xff01;想法很直接&＃xff0c;就是想在一定时间内把请求限制在一定范围内&＃xff0c;保证系统不被冲垮&＃xff0c;同时尽可能提升系统的吞吐量。

注意到&＃xff0c;有些时候&＃xff0c;缓存和降级是解决不了问题的&＃xff0c;比如&＃xff0c;电商的双十一&＃xff0c;用户的购买&＃xff0c;下单等行为&＃xff0c;是涉及到大量写操作&＃xff0c;而且是核心链路&＃xff0c;无法降级的&＃xff0c;这个时候&＃xff0c;限流就比较重要了。

那么接下来&＃xff0c;我们重点说一下&＃xff0c;限流。

限流的常用方式

“
限流的常用处理手段有&＃xff1a;计数器、滑动窗口、漏桶、令牌。

计数器

“
计数器是一种比较简单的限流算法&＃xff0c;用途比较广泛&＃xff0c;在接口层面&＃xff0c;很多地方使用这种方式限流。在一段时间内&＃xff0c;进行计数&＃xff0c;与阀值进行比较&＃xff0c;到了时间临界点&＃xff0c;将计数器清0。

计数器思想

代码实例

计数器代码实现

“
这里需要注意的是&＃xff0c;存在一个时间临界点的问题。举个栗子&＃xff0c;在12:01:00到12:01:58这段时间内没有用户请求&＃xff0c;然后在12:01:59这一瞬时发出100个请求&＃xff0c;OK&＃xff0c;然后在12:02:00这一瞬时又发出了100个请求。这里你应该能感受到&＃xff0c;在这个临界点可能会承受恶意用户的大量请求&＃xff0c;甚至超出系统预期的承受。

滑动窗口

“
**由于计数器存在临界点缺陷&＃xff0c;后来出现了滑动窗口算法来解决。
**

滑动窗口原理图

“
滑动窗口的意思是说把固定时间片&＃xff0c;进行划分&＃xff0c;并且随着时间的流逝&＃xff0c;进行移动&＃xff0c;这样就巧妙的避开了计数器的临界点问题。也就是说这些固定数量的可以移动的格子&＃xff0c;将会进行计数判断阀值&＃xff0c;因此格子的数量影响着滑动窗口算法的精度。

漏桶

“
虽然滑动窗口有效避免了时间临界点的问题&＃xff0c;但是依然有时间片的概念&＃xff0c;而漏桶算法在这方面比滑动窗口而言&＃xff0c;更加先进。
有一个固定的桶&＃xff0c;进水的速率是不确定的&＃xff0c;但是出水的速率是恒定的&＃xff0c;当水满的时候是会溢出的。

漏桶算法思想

代码实现

漏桶代码实现

令牌桶

“
注意到&＃xff0c;漏桶的出水速度是恒定的&＃xff0c;那么意味着如果瞬时大流量的话&＃xff0c;将有大部分请求被丢弃掉&＃xff08;也就是所谓的溢出&＃xff09;。为了解决这个问题&＃xff0c;令牌桶进行了算法改进。

令牌桶原理

“
生成令牌的速度是恒定的&＃xff0c;而请求去拿令牌是没有速度限制的。这意味&＃xff0c;面对瞬时大流量&＃xff0c;该算法可以在短时间内请求拿到大量令牌&＃xff0c;而且拿令牌的过程并不是消耗很大的事情。&＃xff08;有一点生产令牌&＃xff0c;消费令牌的意味&＃xff09;
不论是对于令牌桶拿不到令牌被拒绝&＃xff0c;还是漏桶的水满了溢出&＃xff0c;都是为了保证大部分流量的正常使用&＃xff0c;而牺牲掉了少部分流量&＃xff0c;这是合理的&＃xff0c;如果因为极少部分流量需要保证的话&＃xff0c;那么就可能导致系统达到极限而挂掉&＃xff0c;得不偿失。

代码实现

令牌桶代码实现

限流神器&＃xff1a;Guava RateLimiter

“
Guava不仅仅在集合、缓存、异步回调等方面功能强大&＃xff08;可以参考博主的《使用Google Guava快乐编程》&＃xff09;&＃xff0c;而且还给我们封装好了限流的API&＃xff01;
Guava RateLimiter基于令牌桶算法&＃xff0c;我们只需要告诉RateLimiter系统限制的QPS是多少&＃xff0c;那么RateLimiter将以这个速度往桶里面放入令牌&＃xff0c;然后请求的时候&＃xff0c;通过tryAcquire()方法向RateLimiter获取许可&＃xff08;令牌&＃xff09;。

代码示例

RateLimiter

分布式场景下的限流

“
上面所说的限流的一些方式&＃xff0c;都是针对单机而言的&＃xff0c;其实大部分的场景&＃xff0c;单机的限流已经足够了。分布式下限流的手段常常需要多种技术相结合&＃xff0c;比如Nginx&＃43;Lua&＃xff0c;Redis&＃43;Lua等去做。本文主要讨论的是单机的限流&＃xff0c;这里就不在详细介绍分布式场景下的限流了。
一句话&＃xff0c;让系统的流量&＃xff0c;先到队列中排队、限流&＃xff0c;不要让流量直接打到系统上。
高质量编程视频&＃xff1a;shangyepingtai.xin
好了&＃xff0c;到这里&＃xff0c;本文就结束了&＃xff01;