作者：一二三 | 来源：互联网 | 2023-10-16 18:29
MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行--
MR程序的几种提交运行模式
本地模型运行
1/在windows的eclipse里面直接运行main方法&＃xff0c;就会将job提交给本地执行器localjobrunner执行
----配置path&＃xff1a;D:\hadoop-2.7.2\bin
----配置hadoop_home&＃xff1a;D:\hadoop-2.7.2
----复制 hadoop.dll和winutils.exe 到hadoop/bin文件夹下
下载地址,注意版本&＃xff1a;http://download.csdn.net/detail/u014310430/8402965
----输入输出数据可以放在本地路径下&＃xff08;c:/wc/srcdata/&＃xff09;
----输入输出数据也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata)
2/在linux的eclipse里面直接运行main方法&＃xff0c;但是不要添加yarn相关的配置&＃xff0c;也会提交给localjobrunner执行
----输入输出数据可以放在本地路径下&＃xff08;/home/hadoop/wc/srcdata/&＃xff09;
----输入输出数据也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata)
集群模式运行
1【推荐的方法】/将工程打成jar包&＃xff0c;上传到服务器&＃xff0c;然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
http://blog.csdn.net/zengmingen/article/details/51152001
2/在linux的eclipse中直接运行main方法&＃xff0c;也可以提交到集群中去运行&＃xff0c;但是&＃xff0c;必须采取以下措施&＃xff1a;
----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml
----将工程打成jar包(wc.jar)&＃xff0c;同时在main方法中添加一个conf的配置参数 conf.set("mapreduce.job.jar","wc.jar");
3/在windows的eclipse中直接运行main方法&＃xff0c;也可以提交给集群中运行&＃xff0c;但是因为平台不兼容&＃xff0c;需要做很多的设置修改
----要在windows中存放一份hadoop的安装包&＃xff08;解压好的&＃xff09;
----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
----再要配置系统环境变量 HADOOP_HOME 和 PATH
----修改YarnRunner这个类的源码
京公网安备 11010802041100号