hadoop 2.6 采用 谷歌protocol buffer作为通信协议&＃xff0c;但是protocol buffer 相对于Thrift &＃xff0c;需要自己实现一套底层通信框架。
hadoop Server类及其相关类&＃xff0c;采用java NIO 及 多reactor 模式&＃xff0c;外加多线程&＃xff0c;实现了服务端高并发通信&＃xff0c;构建了强有力的分布式基础设施。
今天剖析下其代码实现。
多reactor
java NIO 服务端 reactor 模式实现的关键是 Selector 类对象&＃xff0c;Selector 监控需要观察的事件&＃xff0c;并返回就绪的 Set
hadoop 为提高效率&＃xff0c;使用了三类reactor :
1、用于监听连接的 selector &＃xff08;一个&＃xff09;
2、用于监听读事件的 readSelector &＃xff08;每个reader 线程一个&＃xff09;
3、用于监听写事件的 writeSelector &＃xff08;一个&＃xff09;
多线程
服务端所用的线程池并非是ExecutorService&＃xff0c;而是构造的线程数组
如Reader 线程
单个线程&＃xff0c;用于监听连接&＃xff0c;持有selector &＃xff0c;然后从 Reader[]线程组内挑选一个线程接受监听好的SelectionKey reader 线程组负责读取连接上的读请求&＃xff0c;并传递给 Handler线程组&＃xff0c;每个线程持有一个readSelector hander 线程组负责处理请求并返回响应&＃xff0c;未能成功返回的响应交Responder 持有一个writeSelector&＃xff0c;监听写事件 reader hander &＃xff0c;这两个线程组&＃xff0c;通过callQueue进行数据交互&＃xff0c;callQueue是两个线程类的外部类Server类的成员for (int i &＃61; 0; i 服务端使用了四组线程
Listener&＃xff1a;
Reader[]&＃xff1a;
Handler[]&＃xff1a;
Responder&＃xff1a;
线程之间的通信
//外部类 Server类的成员
CallQueueManager
京公网安备 11010802041100号