本文是根据开涛的博客 聊聊高并发系统之限流特技-2 整理而成&＃xff0c;自学笔记第一篇
欢迎访问我的个人博客 http://rayleung.xyz/
1.系统限流实践 - 理论篇
2.系统限流实践 - 应用限流
3.系统限流实践 - 分布式限流
4.系统限流实践 - 接入层限流(上)
5.系统限流实践 - 接入层限流(下*完结)
上篇学习了分布式限流(传送门)&＃xff0c;接下来学习一下接入层限流的方法
对于简单的web应用&＃xff0c;我们一般直接通过容器例如Tomcat/Jetty直接把应用暴露给外部使用&＃xff0c;这样做简单方便快速。
但是对以下的场景就有点有心无力或者实现成本比较大&＃xff0c;例如安全校验、负载均衡、请求聚合、服务降级、限流、A/B测试、服务质量监控等等。
因此一般可以抽象出一个层次——-接入层&＃xff0c;来实现以上场景。曾经在某外资银行工作做过&＃xff0c;当时他们的系统也有接入层&＃xff0c;叫”GateWay”层&＃xff0c;实现了用户的身份校验&＃xff0c;应用的Token验证以及服务路由等功能&＃xff0c;用的是Java工程来实现的。
不过个人觉得用Java来实现接入层有几个缺点&＃xff1a;
- 实现复杂
例如写一个路由功能需要自己实现路径配置、路径解析等工作&＃xff0c;目前已经有web服务器&＃xff08;Nginx&＃xff09;能够实现基于正则表达式的路由功能&＃xff0c;配合Lua脚本的话&＃xff0c;能做的东西就更多更灵活了
- 配置更新不灵活
Java项目要做到动态配置&＃xff0c;可以通过Zookeeper或者Redis来做配置中心&＃xff0c;因此要一系列的基础设施做配合&＃xff0c;才能使得更新配置不用重启Java应用。要知道重启Java应用成本是一件成本比较高的事情。
而通过Nginx的 -s reload 命令&＃xff0c;能够很优雅地重启Nginx而不会对现有的连接造成影响&＃xff0c;用户感知不到Nginx曾经重启过。
如果想通过UI界面来更新路由而不重启Nginx&＃xff0c;还可以使用nginx-upsync-module模块配合Consul和Consul Web UI来实现
说了那么多&＃xff0c;下面进入正题
对于Nginx接入层限流可以使用Nginx自带的两个模块&＃xff1a;连接数限流模块ngx_http_limit_conn_module和漏桶算法实现的请求限流模块ngx_http_limit_req_module。
还可以使用OpenResty提供的Lua限流模块lua-resty-limit-traffic进行更复杂的限流场景。
limit_conn对某个KEY对应的总的网络连接数进行限流。可以按照IP来限制IP维度的总连接数&＃xff0c;或者按照服务域名来限制某个域名的总连接数。但是不是每一个请求连接都会被计数器统计&＃xff0c;只有那些被Nginx处理的且已经读取了整个请求头的请求连接才会被计数器统计。
参考链接-http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
http {limit_conn_zone $binary_remote_addr zone&＃61;addr:10m;limit_conn_log_level error;limit_conn_status 503;...server {...location /download/ {limit_conn addr 1;}
limit_conn_zone
命令格式:limit_conn_zone key zone&＃61;name:size;
说明:设置一个共享内存区域给key,这个区域里面保存key的状态&＃xff0c;进一步来说就是保存当前链接数的数量&＃xff0c;$binary_remote_addr其表示IP地址&＃xff0c;也可以使用如$server_name作为KEY来限制域名级别的最大连接数。
limit_conn_log_level
配置记录被限流后的日志级别&＃xff0c;默认error级别。
limit_conn_status
配置被限流后返回的状态码&＃xff0c;默认返回503。
limit_conn
配置共享区域里面key(这里的key是addr)的最大链接数。此处指定的最大连接数是1&＃xff0c;表示Nginx最多同时并发处理1个连接。
### limit_conn的主要执行过程
1.请求进入首先判断当前limit_conn_zone中相应的key的连接数是否超出了配置的最大链接数
2.如果超出了&＃xff0c;则被限流&＃xff0c;返回limit_conn_status定义的错误码;否则相应的key链接数加1&＃xff0c;并注册请求处理完成的回调函数
3.进行请求处理
4.结束请求阶段会调用注册的回调函数对相应的链接数减1
###按照IP限制并发连接数
首先定义根据IP维度的限流区域
http {......limit_conn_zone $binary_remote_addr zone&＃61;addr:10m;limit_conn_log_level error;limit_conn_status 503;......}&＃96;&＃96;&＃96;然后定义限流接口&＃96;&＃96;&＃96;http {......limit_conn_zone $binary_remote_addr zone&＃61;addr:10m;limit_conn_log_level error;limit_conn_status 503;......server {......location /limit {limit_conn addr 2; #限流2echo "success";}......}}&＃96;&＃96;&＃96;
用ab工具进行测试&＃xff0c;并发数为5&＃xff0c;总请求数为5
&＃96;ab -n 5 -c 5 http://localhost:8080/limit&＃96;得到以下结果&＃xff0c;限流成功
** - - [07/Jul/2016:11:06:28 &＃43;0800] “GET /limit HTTP/1.0” 200 8 “-” “ApacheBench/2.3”
** - - [07/Jul/2016:11:06:28 &＃43;0800] “GET /limit HTTP/1.0” 200 8 “-” “ApacheBench/2.3”
** - - [07/Jul/2016:11:06:28 &＃43;0800] “GET /limit HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
** - - [07/Jul/2016:11:06:28 &＃43;0800] “GET /limit HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
** - - [07/Jul/2016:11:06:28 &＃43;0800] “GET /limit HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
###按照域名限流跟上节基本相同&＃xff0c;区别在于维度不一样了,key字段改为了&＃96;$server_name&＃96;
&＃96;limit_conn_zone $server_name zone &＃61; perserver:10m;&＃96;## ngx_http_limit_req_module> limit_req是根据请求速率来做限流&＃xff0c;是令牌桶算法的实现
[参考链接-http://nginx.org/en/docs/http/ngx_http_limit_req_module.html](http://nginx.org/en/docs/http/ngx_http_limit_req_module.html)###配置示例&＃96;&＃96;&＃96;
http {
limit_req_zone $binary_remote_addr zone&＃61;one:10m rate&＃61;1r/s;...server {...location /search/ {limit_req zone&＃61;one burst&＃61;5;}&＃96;&＃96;&＃96;
**limit_req**配置限流区域、桶容量&＃xff08;突发容量&＃xff0c;默认0&＃xff09;、是否延迟模式&＃xff08;默认延迟&＃xff09;**limit_req_zone**配置限流KEY、及存放KEY对应信息的共享内存区域大小、固定请求速率&＃xff1b;此处指定的KEY是“$binary_remote_addr”表示IP地址&＃xff1b;固定请求速率使用rate参数配置&＃xff0c;支持10r/s和60r/m&＃xff0c;即每秒10个请求和每分钟60个请求&＃xff0c;不过最终都会转换为每秒的固定请求速率&＃xff08;10r/s为每100毫秒处理一个请求&＃xff1b;60r/m&＃xff0c;即每1000毫秒处理一个请求&＃xff09;**limit_req_status**配置被限流后返回的状态码&＃xff0c;默认返回503**limit_req_log_level**配置记录被限流后的日志级别&＃xff0c;默认error级别###limit_req的主要执行过程1 请求进入后首先判断最后一次请求时间相对于当前时间&＃xff08;第一次是0&＃xff09;是否需要限流&＃xff0c;如果需要限流则执行步骤2&＃xff0c;否则执行步骤32.1 如果没有配置桶容量&＃xff08;burst&＃xff09;&＃xff0c;则桶容量为0&＃xff1b;按照固定速率处理请求&＃xff1b;如果请求被限流&＃xff0c;则直接返回相应的错误码&＃xff08;默认503&＃xff09;2.2 如果配置了桶容量&＃xff08;burst>0&＃xff09;且延迟模式(没有配置nodelay)&＃xff1b;如果桶满了&＃xff0c;则新进入的请求被限流&＃xff1b;如果没有满则请求会以固定平均速率被处理&＃xff08;按照固定速率并根据需要延迟处理请求&＃xff0c;延迟使用休眠实现&＃xff09;2.3&＃xff08;burst>0&＃xff09;且非延迟模式&＃xff08;配置了nodelay&＃xff09;&＃xff1b;不会按照固定速率处理请求&＃xff0c;而是允许突发处理请求&＃xff1b;如果桶满了&＃xff0c;则请求被限流&＃xff0c;直接返回相应的错误码&＃xff1b;后面令牌将会按章速率重新补充回桶里面3 如果没有被限流&＃xff0c;则正常处理请求4 Nginx会在相应实际选择一些限流Key进行过期处理&＃xff0c;进行内存回收###固定请求速率为1r/s&＃xff0c;bustr为0维度设置&＃96;&＃96;&＃96;
http {......
limit_req_zone $binary_remote_addr zone&＃61;test:10m rate&＃61;1r/s;......}&＃96;&＃96;&＃96;
限流逻辑&＃96;&＃96;&＃96;
http {......server {......location /limit {limit_req zone &＃61; test; #burst为0&＃xff0c;且为delay模式echo "success";}......}......}&＃96;&＃96;&＃96;
这种配置下&＃xff0c;当请求速率超过1r/s时&＃xff0c;其余的请求将会被拒绝测试
&＃96;ab -n 10 -c 1 http://192.168.235.190:8080/limit&＃96;
&＃96;&＃96;&＃96;
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 200 8 "-" "ApacheBench/2.3" --请求成功
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3" --剩下的请求全部被限流
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"
10.50.101.69 - - [08/Jul/2016:14:09:17 &＃43;0800] "GET /limit HTTP/1.0" 503 537 "-" "ApacheBench/2.3"&＃96;&＃96;&＃96;
因为固定请求速率为1r/s&＃xff0c;所以第一个请求成功&＃xff0c;而且由于没有配置burst&＃xff0c;接下来的请求被限流了### 固定请求速率为1r/s&＃xff0c;burst为5维度设置&＃96;&＃96;&＃96;
http {......
limit_req_zone $binary_remote_addr zone&＃61;test:10m rate&＃61;1r/s;......}&＃96;&＃96;&＃96;
限流逻辑
http {
……
server {
……
location /limit {
limit_req zone &＃61; test burst&＃61;5; #burst为0&＃xff0c;且为delay模式
echo “success”;
}
……
}
……
}
这种配置下&＃xff0c;当请求速率超过1r/s时&＃xff0c;接下来的5个请求会放入burst&＃xff0c;如果这时候再有请求到来将会被限流由于不知道为什么在windows上用ab做测试呈现不了效果&＃xff0c;于是通过写java代码来模拟&＃96;&＃96;&＃96;public class NginxLimit {public static void main(String[] args) throws IOException {final NginxLimit distrubuteLimit &＃61; new NginxLimit();final CountDownLatch latch &＃61; new CountDownLatch(1);//两个工人的协作final Random random &＃61; new Random(10);for (int i &＃61; 0; i <10; i&＃43;&＃43;) {final int finalI &＃61; i;Thread t &＃61; new Thread(new Runnable() {public void run() {try {latch.await();String rev &＃61; distrubuteLimit.sendGet("http://192.168.235.190:8080/limit", null);System.out.println(rev);} catch (InterruptedException e) {e.printStackTrace();}}});t.start();}latch.countDown();System.in.read();}public static String sendGet(String url, String param) {String result &＃61; "";BufferedReader in &＃61; null;try {String urlNameString &＃61; url &＃43; "?" &＃43; param;URL realUrl &＃61; new URL(urlNameString);// 打开和URL之间的连接URLConnection connection &＃61; realUrl.openConnection();// 设置通用的请求属性connection.setRequestProperty("accept", "*/*");connection.setRequestProperty("connection", "Keep-Alive");connection.setRequestProperty("user-agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");// 建立实际的连接connection.connect();// 定义 BufferedReader输入流来读取URL的响应in &＃61; new BufferedReader(new InputStreamReader(connection.getInputStream()));String line;while ((line &＃61; in.readLine()) !&＃61; null) {result &＃43;&＃61; line;}} catch (Exception e) {System.out.println("发送GET请求出现异常");}// 使用finally块来关闭输入流finally {try {if (in !&＃61; null) {in.close();}} catch (Exception e2) {e2.printStackTrace();}}return result;}}&＃96;&＃96;&＃96;测试结果&＃96;&＃96;&＃96;10.50.101.69 - - [08/Jul/2016:14:25:30 &＃43;0800] "GET /limit?null HTTP/1.1" 200 18 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:30 &＃43;0800] "GET /limit?null HTTP/1.1" 503 537 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:30 &＃43;0800] "GET /limit?null HTTP/1.1" 503 537 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:30 &＃43;0800] "GET /limit?null HTTP/1.1" 503 537 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:30 &＃43;0800] "GET /limit?null HTTP/1.1" 503 537 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:31 &＃43;0800] "GET /limit?null HTTP/1.1" 200 18 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:32 &＃43;0800] "GET /limit?null HTTP/1.1" 200 18 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:33 &＃43;0800] "GET /limit?null HTTP/1.1" 200 18 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:34 &＃43;0800] "GET /limit?null HTTP/1.1" 200 18 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"10.50.101.69 - - [08/Jul/2016:14:25:35 &＃43;0800] "GET /limit?null HTTP/1.1" 200 18 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"&＃96;&＃96;&＃96;一共有10个请求&＃xff0c;其中6个成功&＃xff0c;4个失败。但是为什么有6个成功而不是5个呢&＃xff1f;因为固定请求速率是1r/s&＃xff0c;而burst容量是5&＃xff0c;所以1&＃43;5得到6。剩下放不进burst的请求会别限流。另外通过日志观察&＃xff0c;请求一秒处理一个。###固定请求速率为1r/s&＃xff0c;burst为5&＃xff0c;nodelay
维度设置
http {
……
limit_req_zone $binary_remote_addr zone&＃61;test:10m rate&＃61;1r/s;
……
}
限流逻辑
http {
……
server {
……
location /limit {
limit_req zone &＃61; test burst&＃61;5 nodelay; #burst为0&＃xff0c;且为nodelay模式
echo “success”;
}
……
}
……
}
测试代码
public class NginxLimit {
public static void main(String[] args) throws IOException, InterruptedException {final NginxLimit distrubuteLimit &＃61; new NginxLimit();final CountDownLatch latch &＃61; new CountDownLatch(1);//两个工人的协作final Random random &＃61; new Random(10);//阶段一for (int i &＃61; 0; i <10; i&＃43;&＃43;) {final int finalI &＃61; i;Thread t &＃61; new Thread(new Runnable() {public void run() {try {latch.await();String rev &＃61; distrubuteLimit.sendGet("http://192.168.235.190:8080/limit", null);System.out.println(rev);} catch (InterruptedException e) {e.printStackTrace();}}});t.start();}latch.countDown();//阶段二for (int i &＃61; 0; i <10; i&＃43;&＃43;) {String rev &＃61; distrubuteLimit.sendGet("http://192.168.235.190:8080/limit", null);System.out.println(rev);try {Thread.sleep(1000);} catch (InterruptedException e) {e.printStackTrace();}}//阶段三final CountDownLatch latch2 &＃61; new CountDownLatch(1);//两个工人的协作for (int i &＃61; 0; i <10; i&＃43;&＃43;) {final int finalI &＃61; i;Thread t2 &＃61; new Thread(new Runnable() {public void run() {try {latch2.await();String rev &＃61; distrubuteLimit.sendGet("http://192.168.235.190:8080/limit", null);System.out.println(rev);} catch (InterruptedException e) {e.printStackTrace();}}});t2.start();}latch2.countDown();System.in.read();
}
.......
}
–阶段一
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:23 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
–阶段二
10.50.101.69 - - [08/Jul/2016:15:16:25 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:26 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:27 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:28 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:29 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:30 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:31 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:32 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:33 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:34 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
–阶段三
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 200 18 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
10.50.101.69 - - [08/Jul/2016:15:16:35 &＃43;0800] “GET /limit?null HTTP/1.1” 503 537 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)”
“&＃96;
nodelay模式下&＃xff0c;limit_req允许一定程度的并发。
阶段一的时候&＃xff0c;程序并发10个请求&＃xff0c;一下子被处理完&＃xff08;不像之前delay模式下一秒一个地请求&＃xff09;&＃xff0c;其中前6个请求能被处理&＃xff0c;后4个请求被限流。
阶段二的时候&＃xff0c;程序每隔1秒发起1个请求&＃xff0c;循环10次。由于令牌补充的速率也是1r/s&＃xff0c;所以每次请求到达的时候都有令牌可取&＃xff0c;请求正常。
阶段三的时候&＃xff0c;程序有不少503&＃xff0c;就是因为桶里面没有令牌了&＃xff0c;请求被限流了。
利用Nginx做分布式限流&＃xff0c;主要用的就是ngx_http_limit_conn_module和ngx_http_limit_req_module模块。
ngx_http_limit_req_module通过配置nodelay参数决定使用漏桶算法还是令牌桶算法。
当使用delay参数的时候&＃xff0c;请求会按照固定请求速率被处理&＃xff0c;即使有突发流量涌入&＃xff0c;也不会影响请求处理的速率。当请求速率大于固定请求速率&＃43;burst数量的时候&＃xff0c;多余的请求会别限流抛弃。
当使用nodelay参数的时候&＃xff0c;系统能处理的并发数取决于固定请求速率&＃43;burst里令牌数之和&＃xff0c;然后令牌按照固定请求速率补充回令牌桶。
需要说明一下的是&＃xff0c;以上的推论是按照网上的资料以及自己实验观察所得&＃xff0c;仅供参考&＃xff0c;不保证完全正确。
接下来最后一篇会学习用Openresty &＃43; Lua来实现接入层限流。
ngx_http_limit_conn_module - http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
ngx_http_limit_req_module - http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
http://blog.csdn.net/lzw_2006/article/details/51880583
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有 