mod_jk(Apache+mod_jk+tomcat)详细配置方法

mod_jk 分析
1 mod_jk模块的总体功能
由于tomcat的HTTP处理部分都由Java所写（5.5.12版本以后出现了native库，用以
提高其I/O和SSL的性能[1]），在高并发的情况下负载较高。而apache对于静态文件的处
理能力比tomcat强，所以tomcat开发组开发了与apache结合使用的mod_jk模块。该协议
由apache作请求代理，将HTTP协议的请求转化为AJP协议包，并传给后端的
tomcat。mod_jk和apache现在普遍使用AJP1.3协议[2]。它是一个二进制格式的协议，比
字符格式的HTTP协议解析速度要快。
除了性能的提升，mod_jk另外的一个作用可以实现apache与tomcat一对多的对应，
使后端tomcat负载均衡。mod_jk也提供apache与tomcat链接情况的监控。
mod_jk模块的典型工作流程是这样的：一个HTTP请求过来，mod_jk模块根据其URI选
择合适的worker来进行处理。如果是lb_worker（负载均衡的worker），就再根据各种条
件选择后台合适的ajp_worker（处理AJP协议的worker）。ajp_worker将HTTP协议的包，
组装成AJP协议格式的包，然后选取一条空闲的链接，发送给后台的tomcat服务器。等到
后台将数据发送过来时，接收并解析AJP协议，重新组装成HTTP协议，然后把结果发送给
客户端。
2 mod_jk模块的框架
2.1 线程
从宏观上来讲，mod_jk由一个watchdog线程和一组worker线程(进程)组成。
watchdog线程是在apache内部新创建的线程，它是一个维护线程。每隔
JkWatchdogInterval的时间（当然，所有worker线程也有一个统一的worker.maintain 时
间，JkWatchdogInterval应该至少大于worker.maintain），它会扫描所有worker线程。
watchdog线程会检查每个worker线程的空闲链接、负载情况、与后端的链接情况，并使共
享内存同步。worker线程是就是一些ajp13，ajp14，jni，lb或status类型的线程，负责
所有实际的工作。
在mod_jk中，线程内（外）的同步均是通过线程锁（pthread_mutex_lock）来实现的。
而进程之间的全局同步，是用文件记录锁（flock或fcntl）来实现。进程间的数据共享是
用这样做的：进程启动时，创建一个JkShmSize 大小的文件，然后mmap到内存，由于各进
程mmap到内存的是相同的镜像，所以可以实现数据的共享，但是写入共享内存时，要做好
互斥。
由于apache的基本处理方式（prefork和worker模式）就是一个线程/进程负责一个
连接，所以mod_jk各线程中对于网络IO处理都是阻塞的。
2.2 worker对象
从具体的worker对象的角度来讲，mod_jk由ajp_worker、jni_worker、lb_worker和
status_worker组成。这些对象参考了设计模式中factory的模型。每类worker都有生产
workers的factory。
在mod_jk中，其中的worker主要在worker.list中列出。其中，lb_worker可以含有
balance_workers，以lb_sub_worker的形式存储于lb_worker中。lb_sub_worker可以是各
种类型的ajp_worker。所以真正工作的ajp_worker既可以“单干”，也可以由lb_worker
来分配任务。这主要取决于URI到底映射到哪个worker上以及该worker是否在
worker.list配置。
lb_worker，lb_sub_worker和ajp_worker一些配置信息都位于其结构体中，而状态信
息或在运行中可变的参数则位于共享内存中的对应结构体中，当然也并不绝对，有些参数是
冗余的。
从正在运行的某个线程的角度上来讲，ajp_worker就是对应了一个线程。
3 从HTTP到AJP的处理流程
由于mod_jk模块是apache的处理模块，本节主要是讲述mod_jk模块从客户端到后端
服务器的处理流程。中间会涉及一些apache模块的一些结构。
3.1 mod_jk模块在apache中的定义
3.1.1 mod_jk定义
/* 这是jk模块的主要定义结构体*/
module AP_MODULE_DECLARE_DATA jk_module = {
STANDARD20_MODULE_STUFF,
NULL, /* dir config creater */
NULL, /* dir merger --- default is to override */
create_jk_config, /*创建 jk模块的配置结构体*/
merge_jk_config, /* 初始化及合并 jk模块的配置结构体*/
jk_cmds, /* 所有在apahce中的命令及操作函数 */
jk_register_hooks /* 具体的操作函数处理钩子 */
};
3.1.2 mod_jk模块的主要处理函数
/* mod_jk将各处理函数挂到相应的钩子上，钩子实际上就是一些函数指针。针对某个HTTP
请求，这些函数会自上而下执行。*/
static void jk_register_hooks(apr_pool_t * p)
{
/* 该函数在apache读入配置后运行，用以初始化全局互斥锁，jk日志，全局变量的初
始化，以及读入 workers.properties、uriworkermap.properties文件，初始化各worker
的属性，建立worker名称到worker结构体的映射，uri到worker的映射*/
ap_hook_post_config(jk_post_config, NULL, NULL,
APR_HOOK_MIDDLE);
/*该函数在apache主进程fork工作子进程后做的初始化工作，主要包括初始化进程内
互斥锁，开启维护线程，读入共享内存*/
ap_hook_child_init(jk_child_init, NULL, NULL, APR_HOOK_MIDDLE);
/* 将mod_jk的URI到真实URI，然后URI到worker的映射翻译过程，用以找到该URI
相应的worker_name */
ap_hook_translate_name(jk_translate, NULL, NULL,
APR_HOOK_MIDDLE);
#if (MODULE_MAGIC_NUMBER_MAJOR > 20010808)
/* 绑定那些alias_dir的URI到mod_jk的配置，并找到相应worker_name */
ap_hook_map_to_storage(jk_map_to_storage, NULL, NULL,
APR_HOOK_MIDDLE);
/* 这是mod_jk的主要处理函数 */
ap_hook_handler(jk_handler, NULL, NULL, APR_HOOK_MIDDLE);
#endif
}
3.2 jk_handler函数
jk_handler函数是mod_jk的主要处理函数，它负责将HTTP请求从apache发到tomcat,
再从tomcat接受数据，并返回给客户。
它的处理过程如下：
1. 根据前面得到的worker_name，找到相应的jk_worker（其结构体见4.4）。
2. 初始化服务结构体jk_ws_service，主要是针对HTTP服务端的一些设置及函数（服务
的结构体见4.5），与AJP协议关系不大。
3. 调用jk_worker的get_endpoint函数，获取具体的jk_endpoint结构体（函数见
3.3.1和3.4.1，jk_endpoint的结构体定义见4.4）。
4. 调用上述jk_endpoint的service函数。
5. 调用上述jk_endpoint的done函数，结束与tomcat的AJP连接。
6. 根据函数的结果处理各种状态。
7. 释放资源。
3.3 lb_worker的处理函数
3.3.1 lb_worker的get_endpoint
初始化lb_worker的endpoint结构体，挂上其service及done函数。
3.3.2 lb_worker的service函数
它的处理过程如下：
1. 获取共享内存中记录的worker状态。
2. 如果需要绑定sessionID，获取sessionID。
3. 调用get_most_suitable_worker函数，获取相应的lb_sub_worker(也即
ajp_worker)。
4. 调用ajp_worker的get_endpoint函数。
5. 调用上述endpoint的service函数。
6. 调用上述endpoint的done函数。
7. 根据service的返回结果，更新各种记录状态。
3.3.3 get_most_suitable_worker函数
它的处理过程如下：
1. 如果需要绑定sessionID，就根据sessionID找到工作正常的最佳worker。
2. 如果找不到，则调用find_best_worker函数。其处理过程如下：
i. 又调用find_best_byvalue函数。其处理过程如下：按照Round Robin的方式在
本lb_worker中找到第一个不在错误状态、也没有停止、没有disabled 、也不
busy的lb_sub_worker。
ii.如果find_best_byvalue返回错误，说明本lb_worker的lb_sub_worker都处于
非正常工作状态，需要调用find_failover_worker函数，通过
redirect、route、domain指令来进行查找[3]。
3.4 ajp_worker的处理函数
3.4.1 ajp_worker的get_endpoint函数
它的主要功能是：找到与后端tomcat的一个空闲连接。
3.4.2 ajp_worker的ajp_service函数
该函数主要分为 ajp_send_request和and ajp_get_reply两个函数。
它的处理过程如下：
1. 获取共享内存中的状态。
2. 分配AJP请求包、恢复包、POST包的内存。
3. 调用ajp_marshal_into_msgb函数，将HTTP请求包转化为AJP包。
4. 将当前ajp_worker的状态更新。
5. 调用ajp_send_request函数。
6. 如果发送成功，调用ajp_get_reply函数，等待并接受AJP包。
7. 如果成功，更新当前状态。
3.4.2 ajp_worker的ajp_send_request函数
它的处理过程如下：
1. 调用jk_is_socket_connected函数，检查即将发送的socket是否有效。它的检查过
程是运用select函数，等1微妙，如果成功返回说明，该socket的文件描述符至少
在内核中还有效。
2. 如果上一次发送超时，则调用ajp_handle_cping_cpong函数来判断后端连接是否有
效。该函数主要是发出了一个AJP13_CPING_REQUEST类型的AJP包，如果tomcat收
到，应返回一个AJP13_CPONG_REPLY的包。
3. 如果上述的测试都成功，调用ajp_connection_tcp_send_message，发送AJP包。
3.4.3 ajp_worker的ajp_get_reply函数
它的处理过程如下：
1. 调用jk_is_input_event，用select等待接受数据，直到socket有接受数据。
2. 调用ajp_connection_tcp_get_message，接受AJP包，并检查协议头。
3. 调用ajp_process_callback，对该AJP包进行解析处理。其处理过程如下：
i. 如果是JK_AJP13_SEND_HEADERS包，将其解包成HTTP包头。如果没有错误，就调
用jk_ws_service->start_response（）函数发送HTTP回复的head。返回
JK_AJP13_SEND_HEADERS。
ii.如果是JK_AJP13_SEND_BODY_CHUNK包，调用jk_ws_service->write发送HTTP回
复的body。返回JK_AJP13_NO_RESPONSE。
iii.如果是JK_AJP13_GET_BODY_CHUNK包，说明还有数据要发送到tomcat，调用
ajp_read_into_msg_buff，继续发送数据。返回JK_AJP13_HAS_RESPONSE。
iv.如果是JK_AJP13_END_RESPONSE包，就说明tomcat的回复已经完成。返回
JK_AJP13_END_RESPONSE。
3.5 jk_ws_service的一些处理函数
3.5.1 jk_ws_service 的 ws_start_response函数
该函数主要是构建HTTP回复包的头部。
3.5.2 jk_ws_service 的 ws_write函数
调用 apache的ap_rwrite函数，发送整个HTTP包。
3.5.3 jk_ws_service 的 ws_read函数
调用apache的ap_get_client_block读入全部的request body数据。
4 mod_jk的主要数据结构
4.1 lb_worker
lb_worker是负载均衡worker。主要负责调配其名下的一些lb_sub_worker 。