我们在实际的生成操作中经常需要将一些任务在晚上开启进行定时执行&＃xff0c;或者多个作业&＃xff0c;例如hive,mapreduce,shell等任务的组合调用。
我们可以使用linux的contab &＃43; spervisor &＃43; inotify-tool进行任务的配值&＃xff0c;但是操作起来麻烦&＃xff0c;而且没有可视化的参数返回界面。也不能保证任务的可靠性。
在hadoop技术栈中我们可以使用oozie做为任务的调度与定时触发的工具。可以方便的帮助我们进行管理和调度我们常见的9中作业调度。
oozie基本架构
是一个工作流调度系统工作流的调度是DAG(有向无环图)-Directed Acyclical Graphs
Coordinator job可以通过时间和数据集的可用性触发
集成了Hadoop生态系统的其它任务&＃xff0c;如mr,pig,hive,sqoop,distcp
可扩展&＃xff1a;一个Oozie就是一个mr程序&＃xff0c;但是仅仅是map&＃xff0c;没有reduce
可靠性&＃xff1a;任务失败后的重试
oozie.png
workflow&＃xff0c;coordinator&＃xff0c;bundle
Workflow&＃xff1a;工作流&＃xff0c;由我们需要处理的每个工作组成&＃xff0c;进行需求的流式处理。
Coordinator&＃xff1a;协调器&＃xff0c;可以理解为工作流的协调器&＃xff0c;可以将多个工作流协调成一个工作流来进行处理。
Bundle&＃xff1a;捆&＃xff0c;束。将一堆的coordinator进行汇总处理。
简单来说&＃xff0c;workflow是对要进行的顺序化工作的抽象&＃xff0c;coordinator是对要进行的顺序化的workflow的抽象&＃xff0c;bundle是对一堆coordiantor的抽象。层级关系层层包裹。
Oozie的作业有三部分组成&＃xff0c;分别是job.properties&＃xff0c;workflow.xml&＃xff0c;lib文件夹。
Job.properties
配值需要的参数
nameNode hdfs地址
jobTracker jobTracker(ResourceManager)地址
queueName Oozie队列(默认填写default)
examplesRoot 全局目录(默认填写examples)
oozie.usr.system.libpath 是否加载用户lib目录(true/false)
oozie.libpath 用户lib库所在的位置
oozie.wf.application.path
Oozie流程所在hdfs地址(workflow.xml所在的地址)
user.name 当前用户
Coordinator&＃xff1a;oozie.coord.application.path
Coordinator.xml地址(没有可以不写)
Bundle&＃xff1a;oozie.bundle.application.path
Bundle.xml地址(没有可以不写)nameNode&＃61;hdfs://cm1:8020jobTracker&＃61;cm1:8032queueName&＃61;defaultexamplesRoot&＃61;examples
oozie.wf.application.path&＃61;${nameNode}/user/workflow/oozie/shell
workflow.xml 2. 3.
4. 5. 6. ${fs:exists(concat(concat("/xxx/output/xxxList/",
7. task_id),"/_SUCCESS"))} 8. 9. 10. 11.
12. 13. 14. ${fs:exists(concat(concat(“/xxx/output/", task_id),"/_SUCCESS"))} 15. 16. 17. 18.
19. 20. 21. ${jobTracker} 22. ${namenode} 23. 24. 25. mapreduce.job.queuename 26. ${queueName} 27. 28. 29. com.xxx.Main 30. 31. 32. 33. 34. 35. Map/Reduce failed.error message[${wf:errorMessage(wf:lastErrorNode())}]36. 37. 38.
Oozie的节点分成两种&＃xff0c;流程控制节点和动作节点。所谓的节点实际就是一组标签。两种节点分别如下&＃xff1a;
流程控制节点——定义workflow的开始——定义workflow的结束——实现switch功能标签连用——调用子workflow——程序出错后跳转到这个节点执行相关操作——并发执行workflow——并发执行结束(与fork一起使用)
动作节点——表示运行的是shell操作——表示运行的java程序——表示是对hdfs进行操作——表示进行的是MR操作——表示进程的是hive操作——表示进行的是sqoop的相关操作
文件需要被放在HDFS上才能被oozie调度&＃xff0c;如果在启动需要调动MR任务&＃xff0c;jar包同样需要在hdfs上。
lib文件夹
在workflow工作流定义的同级目录下&＃xff0c;需要有一个lib目录&＃xff0c;在lib目录中存在java节点MapReduce使用的jar包。需要注意的是&＃xff0c;oozie并不是使用指定jar包的名称来启动任务的&＃xff0c;而是通过制定主类来启动任务的。在lib包中绝对不能存在某个jar包的不同版本&＃xff0c;不能够出现多个相同主类。
oozie cli
l 启动任务
oozie job -oozie oozie_url -config job.properties_address-run
l 停止任务oozie job -oozie oozie_url -kill jobId -oozie-oozi-W
l 提交任务oozie job -oozie oozie_url -config job.properties_address -submit
l 开始任务oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi-W
l 查看任务执行情况oozie job -oozieoozie_url -config job.properties_address -info jobId -oozie-oozi-W
说明&＃xff1a; 所有的命令都是以oozie job -oozie oozie_url 开头的-config 制定job.properties文件夹的位置&＃xff0c;-run 文件启动后会返回一个唯一的jobId&＃xff0c;供之后使用。
Oozie Coordinator job 定时任务
修改时区
.修改 core-site.xml
oozie.processing.timezone
GMT&＃43;0800
修改 $OOZIE_HOME/oozie-server/webapps/oozie/oozie-console.jsfunction getTimeZone() {
Ext.state.Manager.setProvider(new Ext.state.COOKIEProvider());return Ext.state.Manager.get("TimezoneId","GMT&＃43;0800");
}
1.编辑job.propertiesnameNode&＃61;hdfs://cen-ubuntu.cenzhongman.com:8020
jobTracker&＃61;localhost:8032
queueName&＃61;default
oozieAppsRoot&＃61;oozie-apps
oozie.coord.application.path&＃61;${nameNode}/user/cen/${oozieAppsRoot}/cron-schedule
start&＃61;2017-07-30T14:40&＃43;0800
end&＃61;2017-07-30T14:59&＃43;0800
workflowAppUri&＃61;${nameNode}/user/cen/${oozieAppsRoot}/cron-schedule
2.编辑 workflow.xml 文件
3.编辑coordinator.xml 文件
xmlns&＃61;"uri:oozie:coordinator:0.4">
${workflowAppUri}
jobTracker
${jobTracker}
nameNode
${nameNode}
queueName
${queueName}
4.上传文件至 HDFS
5.执行任务export OOZIE_URL&＃61;http://cen-ubuntu:11000/oozie/bin/oozie job --config oozie-apps/cron-schedule/job.properties -run
oozie JAVA API
直接将oozie下的oozie-client.jar包拷贝带eclipse中,就可以使用java进行启动oozie任务了&＃xff0c;这也方便了项目的集成。public class UserProxy {
public static void main(String[] args) throws Exception {
HadoopLogin login &＃61; new HadoopLogin(); final Configuration conf &＃61; login.loginHdfs("ibdc","C:/Program Files (x86)/Java/newhadoop_oozieweb_conf/ibdc.keytab");
UserGroupInformation.getLoginUser().doAs(new PrivilegedExceptionAction(){
public Void run() throws Exception {
submitJob(); return null;
}
});
}
private static void submitJob() throws OozieClientException, InterruptedException { // get a OozieClient for local Oozie
XOozieClient wc &＃61;new AuthOozieClient("http://hadoop7:11000/oozie/");// OozieClient wc &＃61; new OozieClient("http://hadoop7:11000/oozie/v1/job/");// AuthOozieClient wc &＃61; new AuthOozieClient("http://hadoop7:11000/oozie/", AuthOozieClient.AuthType.KERBEROS.toString());
try {
System.out.println(UserGroupInformation.getLoginUser());
} catch (IOException e) {
e.printStackTrace();
} // create a workflow job configuration and set the workflow application path
Properties conf &＃61; wc.createConfiguration();
conf.setProperty(OozieClient.APP_PATH, "hdfs://nameservice1/user/oozieweb/oozie-app/oozieweb/workflow/antest2");
// setting workflow parameters
conf.setProperty("jobTracker", "hadoop7:8032");
conf.setProperty("nameNode", "hdfs://nameservice1");// conf.setProperty("examplesRoot", EXAMPLE_DIR);
conf.setProperty("queueName", "cdrapp");// conf.setProperty("outputDir", OUTPUT_DIR);// conf.setProperty("oozie.wf.rerun.failnodes", "true");
conf.setProperty("hdfs.keytab.file", "C:/Program Files (x86)/Java/newhadoop_oozieweb_conf/oozieweb.keytab");
conf.setProperty("hdfs.kerberos.principal", "oozieweb");
conf.setProperty("mapred.mapper.new-api", "true");
conf.setProperty("mapred.reducer.new-api", "true");
conf.setProperty("oozie.use.system.libpath", "true");
// submit and start the workflow job
String jobId &＃61; wc.run(conf);
System.out.println("Workflow job submitted");
// wait until the workflow job finishes printing the status every 10 seconds
while (wc.getJobInfo(jobId).getStatus() &＃61;&＃61; WorkflowJob.Status.RUNNING) {
System.out.println("Workflow job running ...");
Thread.sleep(10 * 1000);
}
// print the final status of the workflow job
System.out.println("Workflow job completed ...");
System.out.println(wc.getJobInfo(jobId));
}
}
oozie和azkaban 区别
工作流定义&＃xff1a;Oozie是通过xml定义的而Azkaban为properties来定义。
部署过程&＃xff1a; Oozie的部署太虐心了。有点难。同时它是从Yarn上拉任务日志。
Azkaban中如果有任务出现失败&＃xff0c;只要进程有效执行&＃xff0c;那么任务就算执行成功&＃xff0c;这是BUG&＃xff0c;但是Oozie能有效的检测任务的成功与失败。
操作工作流&＃xff1a;Azkaban使用Web操作。Oozie支持Web&＃xff0c;RestApi&＃xff0c;Java API操作。
权限控制&＃xff1a; Oozie基本无权限控制&＃xff0c;Azkaban有较完善的权限控制&＃xff0c;入用户对工作流读写执行操作。
Oozie的action主要运行在hadoop中而Azkaban的actions运行在Azkaban的服务器中。
记录workflow的状态&＃xff1a;Azkaban将正在执行的workflow状态保存在内存中&＃xff0c;Oozie将其保存在Mysql中。
出现失败的情况&＃xff1a;Azkaban会丢失所有的工作流&＃xff0c;但是Oozie可以在继续失败的工作流运行。
作者&＃xff1a;张晓天a
链接&＃xff1a;https://www.jianshu.com/p/b0a82baa19a7
京公网安备 11010802041100号