ＹＡＲＮ事件库

YARN采用了基于事件驱动的并发模型&＃xff0c;该模型能够大大增强并发性&＃xff0c;从而提高系统整体性能。为了构建该模型&＃xff0c;YARN将各种处理逻辑抽象成事件和对应事件调度器&＃xff0c;并将每类事件的处理过程分割成多个步骤&＃xff0c;用有限状态机表示。YARN中的事件处理模型可概括为图3-14所示。

整个处理过程大致为&＃xff1a;处理请求会作为事件进入系统&＃xff0c;由中央异步调度器&＃xff08;Async-Dispatcher&＃xff09;负责传递给相应事件调度器&＃xff08;Event Handler&＃xff09;。该事件调度器可能将该事件转发给另外一个事件调度器&＃xff0c;也可能交给一个带有有限状态机的事件处理器&＃xff0c;其处理结果也以事件的形式输出给中央异步调度器。而新的事件会再次被中央异步调度器转发给下一个事件调度器&＃xff0c;直至处理完成&＃xff08;达到终止条件&＃xff09;。

在YARN中&＃xff0c;所有核心服务实际上都是一个中央异步调度器&＃xff0c;包括ResourceManager、NodeManager、MRAppMaster&＃xff08;MapReduce应用程序的ApplicationMaster&＃xff09;等&＃xff0c;它们维护了事先注册的事件与事件处理器&＃xff0c;并根据接收的事件类型驱动服务的运行。

YARN中事件与事件处理器类的关系&＃xff08;位于包org.apache.hadoop.yarn.event中&＃xff09;如图3-15所示。当使用YARN事件库时&＃xff0c;通常先要定义一个中央异步调度器AsyncDispatcher&＃xff0c;负责事件的处理与转发&＃xff0c;然后根据实际业务需求定义一系列事件Event与事件处理器EventHandler&＃xff0c;并注册到中央异步调度器中以实现事件统一管理和调度。以MRAppMaster为例&＃xff0c;它内部包含一个中央异步调度器AsyncDispatcher&＃xff0c;并注册了TaskAttemptEvent/TaskAttemptImpl、TaskEvent/TaskImpl、JobEvent/JobImpl等一系列事件/事件处理器&＃xff0c;由中央异步调度器统一管理和调度。

服务化和事件驱动软件设计思想的引入&＃xff0c;使得YARN具有低耦合、高内聚的特点&＃xff0c;各个模块只需完成各自功能&＃xff0c;而模块之间则采用事件联系起来&＃xff0c;系统设计简单且维护方便。