大数据开发之Job提交流程源码和切片源码详解

1&＃xff0e;Job提交流程源码详解

waitForCompletion()

submit();

// 1建立连接

connect();

// 1&＃xff09;创建提交Job的代理

new Cluster(getConfiguration());

// &＃xff08;1&＃xff09;判断是本地yarn还是远程

initialize(jobTrackAddr, conf);

// 2 提交job

submitter.submitJobInternal(Job.this, cluster)

// 1&＃xff09;创建给集群提交数据的Stag路径

Path jobStagingArea &＃61; JobSubmissionFiles.getStagingDir(cluster, conf);

// 2&＃xff09;获取jobid &＃xff0c;并创建Job路径

JobID jobId &＃61; submitClient.getNewJobID();

// 3&＃xff09;拷贝jar包到集群

copyAndConfigureFiles(job, submitJobDir);

rUploader.uploadFiles(job, jobSubmitDir);

// 4&＃xff09;计算切片&＃xff0c;生成切片规划文件

writeSplits(job, submitJobDir);

maps &＃61; writeNewSplits(job, jobSubmitDir);

input.getSplits(job);

// 5&＃xff09;向Stag路径写XML配置文件

writeConf(conf, submitJobFile);

conf.writeXml(out);

// 6&＃xff09;提交Job,返回提交状态

status &＃61; submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());

Job提交流程源码分析

2&＃xff0e;FileInputFormat切片源码解析(input.getSplits(job))

想了解大数据培训开发技术知识&＃xff0c;关注我&＃xff0c;有更多精彩内容与您分享&＃xff01;

文章转载链接&＃xff1a;http://www.atguigu.com/jsfx/11482.html