nginx在启动后&＃xff0c;在unix系统中会以daemon的方式在后台运行&＃xff0c;后台进程包含一个master进程和多个worker进程。

当然nginx也是支持多线程的方式的&＃xff0c;只是我们主流的方式还是多进程的方式&＃xff0c;也是nginx的默认方式。nginx采用多进程的方式有诸多好处&＃xff0c;所以我就主要讲解nginx的多进程模式吧。

nginx在启动后&＃xff0c;会有一个master进程和多个worker进程。master进程主要用来管理worker进程&＃xff0c;包含&＃xff1a;接收来自外界的信号&＃xff0c;向各worker进程发送信号&＃xff0c;监控worker进程的运行状态&＃xff0c;当worker进程退出后(异常情况下)&＃xff0c;会自动重新启动新的worker进程。而基本的网络事件&＃xff0c;则是放在worker进程中来处理了。多个worker进程之间是对等的&＃xff0c;他们同等竞争来自客户端的请求&＃xff0c;各进程互相之间是独立的。一个请求&＃xff0c;只可能在一个worker进程中处理&＃xff0c;一个worker进程&＃xff0c;不可能处理其它进程的请求。worker进程的个数是可以设置的&＃xff0c;一般我们会设置与机器cpu核数一致&＃xff0c;这里面的原因与nginx的进程模型以及事件处理模型是分不开的。nginx的进程模型&＃xff0c;可以由下图来表示&＃xff1a;

nginx进程模型的好处&＃xff1a;

1. 对于每个worker进程来说&＃xff0c;独立的进程&＃xff0c;不需要加锁&＃xff0c;所以省掉了锁带来的开销&＃xff0c;同时在编程以及问题查找时&＃xff0c;也会方便很多。
2. 采用独立的进程&＃xff0c;可以让互相之间不会影响&＃xff0c;一个进程退出后&＃xff0c;其它进程还在工作&＃xff0c;服务不会中断&＃xff0c;master进程则很快启动新的worker进程。
3. 如果worker进程的异常退出&＃xff0c;肯定是程序有bug了&＃xff0c;异常退出&＃xff0c;会导致当前worker上的所有请求失败&＃xff0c;不过不会影响到所有请求&＃xff0c;所以降低了风险。

Nginx的事件处理过程

有人可能要问了&＃xff0c;nginx采用多worker的方式来处理请求&＃xff0c;每个worker里面只有一个主线程&＃xff0c;那能够处理的并发数很有限啊&＃xff0c;多少个worker就能处理多少个并发&＃xff0c;何来高并发呢&＃xff1f;

首先&＃xff0c;请求过来&＃xff0c;要建立连接&＃xff0c;然后再接收数据&＃xff0c;接收数据后&＃xff0c;再发送数据。具体到系统底层&＃xff0c;就是读写事件&＃xff0c;而当读写事件没有准备好时&＃xff0c;必然不可操作&＃xff0c;如果不用非阻塞的方式来调用&＃xff0c;那就得阻塞调用了&＃xff0c;事件没有准备好&＃xff0c;那就只能等了&＃xff0c;等事件准备好了&＃xff0c;你再继续吧。阻塞调用会进入内核等待&＃xff0c;cpu就会让出去给别人用了&＃xff0c;对单线程的worker来说&＃xff0c;显然不合适&＃xff0c;当网络事件越多时&＃xff0c;大家都在等待呢&＃xff0c;cpu空闲下来没人用&＃xff0c;cpu利用率自然上不去了&＃xff0c;更别谈高并发了。好吧&＃xff0c;你说加进程数&＃xff0c;这跟apache的线程模型有什么区别&＃xff0c;注意&＃xff0c;别增加无谓的上下文切换。所以&＃xff0c;在nginx里面&＃xff0c;最忌讳阻塞的系统调用了。不要阻塞&＃xff0c;那就非阻塞喽。非阻塞就是&＃xff0c;事件没有准备好&＃xff0c;马上返回EAGAIN&＃xff0c;告诉你&＃xff0c;事件还没准备好呢&＃xff0c;你慌什么&＃xff0c;过会再来吧。好吧&＃xff0c;你过一会&＃xff0c;再来检查一下事件&＃xff0c;直到事件准备好了为止&＃xff0c;在这期间&＃xff0c;你就可以先去做其它事情&＃xff0c;然后再来看看事件好了没。虽然不阻塞了&＃xff0c;但你得不时地过来检查一下事件的状态&＃xff0c;你可以做更多的事情了&＃xff0c;但带来的开销也是不小的。所以&＃xff0c;才会有了异步非阻塞的事件处理机制&＃xff0c;具体到系统调用就是像select/poll/epoll/kqueue这样的系统调用。它们提供了一种机制&＃xff0c;让你可以同时监控多个事件&＃xff0c;调用他们是阻塞的&＃xff0c;但可以设置超时时间&＃xff0c;在超时时间之内&＃xff0c;如果有事件准备好了&＃xff0c;就返回。这种机制正好解决了我们上面的两个问题&＃xff0c;拿epoll为例(在后面的例子中&＃xff0c;我们多以epoll为例子&＃xff0c;以代表这一类函数)&＃xff0c;当事件没准备好时&＃xff0c;放到epoll里面&＃xff0c;事件准备好了&＃xff0c;我们就去读写&＃xff0c;当读写返回EAGAIN时&＃xff0c;我们将它再次加入到epoll里面。这样&＃xff0c;只要有事件准备好了&＃xff0c;我们就去处理它&＃xff0c;只有当所有事件都没准备好时&＃xff0c;才在epoll里面等着。这样&＃xff0c;我们就可以并发处理大量的并发了&＃xff0c;当然&＃xff0c;这里的并发请求&＃xff0c;是指未处理完的请求&＃xff0c;线程只有一个&＃xff0c;所以同时能处理的请求当然只有一个了&＃xff0c;只是在请求间进行不断地切换而已&＃xff0c;切换也是因为异步事件未准备好&＃xff0c;而主动让出的。这里的切换是没有任何代价&＃xff0c;你可以理解为循环处理多个准备好的事件&＃xff0c;事实上就是这样的。与多线程相比&＃xff0c;这种事件处理方式是有很大的优势的&＃xff0c;不需要创建线程&＃xff0c;每个请求占用的内存也很少&＃xff0c;没有上下文切换&＃xff0c;事件处理非常的轻量级。并发数再多也不会导致无谓的资源浪费&＃xff08;上下文切换&＃xff09;。更多的并发数&＃xff0c;只是会占用更多的内存而已。 我之前有对连接数进行过测试&＃xff0c;在24G内存的机器上&＃xff0c;处理的并发请求数达到过200万。现在的网络服务器基本都采用这种方式&＃xff0c;这也是nginx性能高效的主要原因。

我们之前说过&＃xff0c;推荐设置worker的个数为cpu的核数&＃xff0c;在这里就很容易理解了&＃xff0c;更多的worker数&＃xff0c;只会导致进程来竞争cpu资源了&＃xff0c;从而带来不必要的上下文切换。而且&＃xff0c;nginx为了更好的利用多核特性&＃xff0c;提供了cpu亲缘性的绑定选项&＃xff0c;我们可以将某一个进程绑定在某一个核上&＃xff0c;这样就不会因为进程的切换带来cache的失效。像这种小的优化在nginx中非常常见&＃xff0c;同时也说明了nginx作者的苦心孤诣。比如&＃xff0c;nginx在做4个字节的字符串比较时&＃xff0c;会将4个字符转换成一个int型&＃xff0c;再作比较&＃xff0c;以减少cpu的指令数等等。

现在&＃xff0c;知道了nginx为什么会选择这样的进程模型与事件模型了。对于一个基本的web服务器来说&＃xff0c;事件通常有三种类型&＃xff0c;网络事件、信号、定时器。从上面的讲解中知道&＃xff0c;网络事件通过异步非阻塞可以很好的解决掉。如何处理信号与定时器&＃xff1f;

首先&＃xff0c;信号的处理。对nginx来说&＃xff0c;有一些特定的信号&＃xff0c;代表着特定的意义。信号会中断掉程序当前的运行&＃xff0c;在改变状态后&＃xff0c;继续执行。如果是系统调用&＃xff0c;则可能会导致系统调用的失败&＃xff0c;需要重入。关于信号的处理&＃xff0c;大家可以学习一些专业书籍&＃xff0c;这里不多说。对于nginx来说&＃xff0c;如果nginx正在等待事件&＃xff08;epoll_wait时&＃xff09;&＃xff0c;如果程序收到信号&＃xff0c;在信号处理函数处理完后&＃xff0c;epoll_wait会返回错误&＃xff0c;然后程序可再次进入epoll_wait调用。

另外&＃xff0c;再来看看定时器。由于epoll_wait等函数在调用的时候是可以设置一个超时时间的&＃xff0c;所以nginx借助这个超时时间来实现定时器。nginx里面的定时器事件是放在一颗维护定时器的红黑树里面&＃xff0c;每次在进入epoll_wait前&＃xff0c;先从该红黑树里面拿到所有定时器事件的最小时间&＃xff0c;在计算出epoll_wait的超时时间后进入epoll_wait。所以&＃xff0c;当没有事件产生&＃xff0c;也没有中断信号时&＃xff0c;epoll_wait会超时&＃xff0c;也就是说&＃xff0c;定时器事件到了。这时&＃xff0c;nginx会检查所有的超时事件&＃xff0c;将他们的状态设置为超时&＃xff0c;然后再去处理网络事件。由此可以看出&＃xff0c;当我们写我们可以用一段伪代码来总结一下nginx的事件处理模型&＃xff1a;nginx代码时&＃xff0c;在处理网络事件的回调函数时&＃xff0c;通常做的第一个事情就是判断超时&＃xff0c;然后再去处理网络事件。

我们可以用一段伪代码来总结一下nginx的事件处理模型&＃xff1a;

while (true) {for t in run_tasks:t.handler();update_time(&now);timeout &＃61; ETERNITY;for t in wait_tasks: /* sorted already */if (t.time <&＃61; now) {t.timeout_handler();} else {timeout &＃61; t.time - now;break;}nevents &＃61; poll_function(events, timeout);for i in nevents:task t;if (events[i].type &＃61;&＃61; READ) {t.handler &＃61; read_handler;} else { /* events[i].type &＃61;&＃61; WRITE */t.handler &＃61; write_handler;}run_tasks_add(t);
}


Nginx配置系统

Nginx的配置系统由一个主配置文件和一些辅助配置文件构成&＃xff0c;这些配置文件默认在/usr/local/nginx/目录下。

nginx的配置系统由一个主配置文件和其他一些辅助的配置文件构成。这些配置文件均是纯文本文件&＃xff0c;全部位于nginx安装目录下的conf目录下。

配置文件中以#开始的行&＃xff0c;或者是前面有若干空格或者TAB&＃xff0c;然后再跟#的行&＃xff0c;都被认为是注释&＃xff0c;也就是只对编辑查看文件的用户有意义&＃xff0c;程序在读取这些注释行的时候&＃xff0c;其实际的内容是被忽略的。

由于除主配置文件nginx.conf以外的文件都是在某些情况下才使用的&＃xff0c;而只有主配置文件是在任何情况下都被使用的。所以在这里我们就以主配置文件为例&＃xff0c;来解释nginx的配置系统。

在nginx.conf中&＃xff0c;包含若干配置项。每个配置项由配置指令和指令参数2个部分构成。指令参数也就是配置指令对应的配置值。

指令概述

配置指令是一个字符串&＃xff0c;可以用单引号或者双引号括起来&＃xff0c;也可以不括。但是如果配置指令包含空格&＃xff0c;一定要引起来。

指令参数

指令的参数使用一个或者多个空格或者TAB字符与指令分开。指令的参数有一个或者多个TOKEN串组成。TOKEN串之间由空格或者TAB键分隔。

TOKEN串分为简单字符串或者是复合配置块。复合配置块即是由大括号括起来的一堆内容。一个复合配置块中可能包含若干其他的配置指令。

如果一个配置指令的参数全部由简单字符串构成&＃xff0c;也就是不包含复合配置块&＃xff0c;那么我们就说这个配置指令是一个简单配置项&＃xff0c;否则称之为复杂配置项。例如下面这个是一个简单配置项&＃xff1a;

error_page 500 502 503 504 /50x.html;


对于简单配置&＃xff0c;配置项的结尾使用分号结束。对于复杂配置项&＃xff0c;包含多个TOKEN串的&＃xff0c;一般都是简单TOKEN串放在前面&＃xff0c;复合配置块一般位于最后&＃xff0c;而且其结尾&＃xff0c;并不需要再添加分号。例如下面这个复杂配置项

location / {root /home/jizhao/nginx-book/build/html;index index.html index.htm;
}


指令上下文¶

nginx.conf中的配置信息&＃xff0c;根据其逻辑上的意义对其进行分类&＃xff0c;可以分成多个作用域或指令上下文&＃xff0c;指令上下文层次关系如下&＃xff1a;

• main&＃xff1a;Nginx在运行时与具体业务功能无关的参数&＃xff0c;比如工作进程数、运行身份等。

• http&＃xff1a;与提供http服务相关的参数&＃xff0c;比如keepalive、gzip等。

• server&＃xff1a;http服务上支持若干虚拟机&＃xff0c;每个虚拟机一个对应的server配置项&＃xff0c;配置项里包含该虚拟机相关的配置。

• location&＃xff1a;http服务中&＃xff0c;某些特定的URL对应的一系列配置项。

• mail&＃xff1a;实现email相关的SMTP/IMAP/POP3代理时&＃xff0c;共享的一些配置项。

更多配置信息可以参看Nginx安装后的缺省配置文件/usr/local/nginx/nginx.conf.default。

指令上下文&＃xff0c;可能有包含的情况出现。例如&＃xff1a;通常http上下文和mail上下文一定是出现在main上下文里的。在一个上下文里&＃xff0c;可能包含另外一种类型的上下文多次。例如&＃xff1a;如果http服务&＃xff0c;支持了多个虚拟主机&＃xff0c;那么在http上下文里&＃xff0c;就会出现多个server上下文。

user nobody;
worker_processes 1;
error_log logs/error.log info;events {worker_connections 1024;
}http {server {listen 80;server_name www.linuxidc.com;access_log logs/linuxidc.access.log main;location / {index index.html;root /var/www/linuxidc.com/htdocs;}}server {listen 80;server_name www.Androidj.com;access_log logs/androidj.access.log main;location / {index index.html;root /var/www/androidj.com/htdocs;}}
}mail {auth_http 127.0.0.1:80/auth.php;pop3_capabilities "TOP" "USER";imap_capabilities "IMAP4rev1" "UIDPLUS";server {listen 110;protocol pop3;proxy on;}server {listen 25;protocol smtp;proxy on;smtp_auth login plain;xclient off;}
}


在这个配置中&＃xff0c;上面提到个五种配置指令上下文都存在.

存在于main上下文中的配置指令如下:

• user
• worker_processes
• error_log
• events
• http
• mail

存在于http上下文中的指令如下:

• server

存在于mail上下文中的指令如下&＃xff1a;

• server
• auth_http
• imap_capabilities

存在于server上下文中的配置指令如下&＃xff1a;

• listen
• server_name
• access_log
• location
• protocol
• proxy
• smtp_auth
• xclient

存在于location上下文中的指令如下&＃xff1a;

• index
• root

Nginx的模块化体系

一、模块体系

Nginx的内部结构是由核心部分和一系列功能模块组成的&＃xff0c;这样可以使得每个模块的功能相对简单&＃xff0c;便于对系统进行功能扩展&＃xff0c;各模块之间的关系如下图&＃xff1a;

nginx core实现了底层的通讯协议&＃xff0c;为其它模块和Nginx进程构建了基本的运行时环境&＃xff0c;并且构建了其它各模块的协作基础。

http模块和mail模块位于nginx core和各功能模块的中间层&＃xff0c;这2个模块在nginx core之上实现了另外一层抽象&＃xff0c;分别处理与http协议和email相关协议&＃xff08;SMTP/IMAP/POP3&＃xff09;有关的事件&＃xff0c;并且确保这些事件能被以正确的顺序调用其它的一些功能模块。

nginx功能模块基本上分为如下几种类型&＃xff1a;

&＃xff08;1&＃xff09;event module&＃xff1a;搭建了独立于操作系统的事件处理机制的框架&＃xff0c;以及提供了各具体事件的处理&＃xff0c;包括ngx_event_module、ngx_event_core_module和ngx_epoll_module等&＃xff0c;Nginx具体使用何种事件处理模块&＃xff0c;这依赖于具体的操作系统和编译选项。

&＃xff08;2&＃xff09;phase handler&＃xff1a;此类型的模块也被直接称为handler模块&＃xff0c;主要负责处理客户端请求并产生待响应内容&＃xff0c;比如ngx_http_module模块&＃xff0c;负责客户端的静态页面请求处理并将对应的磁盘文件准备为响应内容输出。

&＃xff08;3&＃xff09;output filter&＃xff1a;也称为filter模块&＃xff0c;主要是负责对输出的内容进行处理&＃xff0c;可以对输出进行修改&＃xff0c;比如可以实现对输出的所有html页面增加预定义的footbar一类的工作&＃xff0c;或者对输出的图片的URL进行替换之类的工作。

&＃xff08;4&＃xff09;upstream&＃xff1a;实现反向代理功能&＃xff0c;将真正的请求转发到后端服务器上&＃xff0c;并从后端服务器上读取响应&＃xff0c;发回客户端&＃xff0c;upstream模块是一种特殊的handler&＃xff0c;只不过响应内容不是真正由自己产生的&＃xff0c;而是从后端服务器上读取的。

&＃xff08;5&＃xff09;load-balancer&＃xff1a;负载均衡模块&＃xff0c;实现特定的算法&＃xff0c;在众多的后端服务器中&＃xff0c;选择一个服务器出来作为某个请求的转发服务器。

&＃xff08;6&＃xff09;extend module&＃xff1a;根据特定业务需要编写的第三方模块。

二、请求处理

下面将会以http请求处理为例来说明请求、配置和模块是如何串起来的。

当Nginx读取到一个HTTP Request的header时&＃xff0c;首先查找与这个请求关联的虚拟主机的配置&＃xff0c;如果找到了则这个请求将会经历以下几个阶段的处理&＃xff08;phase handlers&＃xff09;&＃xff1a;

NGX_HTTP_POST_READ_PHASE&＃xff1a;读取请求内容阶段

NGX_HTTP_SERVER_REWRITE_PHASE&＃xff1a;Server请求地址重写阶段

NGX_HTTP_FIND_CONFIG_PHASE&＃xff1a;配置查找阶段

NGX_HTTP_REWRITE_PHASE&＃xff1a;Location请求地址重写阶段

NGX_HTTP_POST_REWRITE_PHASE&＃xff1a;请求地址重写提交阶段

NGX_HTTP_PREACCESS_PHASE&＃xff1a;访问权限检查准备阶段

NGX_HTTP_ACCESS_PHASE&＃xff1a;访问权限检查阶段

NGX_HTTP_POST_ACCESS_PHASE&＃xff1a;访问权限检查提交阶段

NGX_HTTP_TRY_FILES_PHASE&＃xff1a;配置项try_files处理阶段

NGX_HTTP_CONTENT_PHASE&＃xff1a;内容产生阶段

NGX_HTTP_LOG_PHASE&＃xff1a;日志模块处理阶段

在内容产生阶段&＃xff0c;为了给一个request产生正确的response&＃xff0c;Nginx必须把这个请求交给一个合适的content handler去处理。如果这个request对应的location在配置文件中被明确指定了一个content handler&＃xff0c;那么Nginx就可以通过对location的匹配&＃xff0c;直接找到这个对应的handler&＃xff0c;并把这个request交给这个content handler去处理。这样的配置指令包括perl、flv、proxy_pass、mp4等。

如果一个request对应的location并没有直接配置的content handler&＃xff0c;那么Nginx依次作如下尝试&＃xff1a;

&＃xff08;1&＃xff09;如果一个location里面有配置random_index on&＃xff0c;那么随机选择一个文件发送给客户端。

&＃xff08;2&＃xff09;如果一个location里面有配置index指令&＃xff0c;那么发送index指令指定的文件给客户端。

&＃xff08;3&＃xff09;如果一个location里面有配置autoindex on&＃xff0c;那么就发送请求地址对应的服务端路径下的文件列表给客户端。

&＃xff08;4&＃xff09;如果这个request对应的location上有设置gzip_static on&＃xff0c;那么就查找是否有对应的.gz文件存在&＃xff0c;如果有的话&＃xff0c;就发送这个给客户端&＃xff08;客户端支持gzip的情况下&＃xff09;。

&＃xff08;5&＃xff09;请求的URI如果对应一个静态文件&＃xff0c;static module就发送静态文件的内容到客户端。

内容产生阶段完成以后&＃xff0c;生成的输出会被传递到filter模块去进行处理。filter模块也是与location相关的。所有的fiter模块都被组织成一条链。输出会依次穿越所有的filter&＃xff0c;直到有一个filter模块的返回值表明已经处理完成。接下来就可以发送response给客户端了。