MR执行环境

MR执行环境有两种&＃xff1a;本地测试环境&＃xff0c;服务器环境

1、本地测试环境(windows)&＃xff1a;

1.1、在windows下配置hadoop的环境变量

1.2、拷贝debug工具(winutils.exe)到在windows的hadoop目录bin目录

1.3、修改hadoop的源码 &＃xff0c;注意&＃xff1a;确保项目的lib需要真实安装的jdk的lib

1.4、MR调用的代码需要改变&＃xff1a;

a、src不能有服务器的hadoop配置文件


b、在调用是使用&＃xff1a;Configuration conf &＃61; new Configuration();
conf.set("fs.defaultFS", "hdfs://node1:8020");
conf.set("yarn.resourcemanager.hostname", "node5");


运行程序&＃xff1a;

2、服务器环境&＃xff1a;

首先需要在src下放置服务器上的hadoop配置文件

2.1、在本地直接调用&＃xff0c;执行过程在服务器上&＃xff08;真正企业运行环境&＃xff09;

a、把MR程序打包&＃xff08;jar&＃xff09;&＃xff0c;直接放到本地


b、修改hadoop的源码 &＃xff0c;注意&＃xff1a;确保项目的lib需要真实安装的jdk的lib


c、增加一个属性&＃xff1a;conf.set("mapred.jar", "C:\\Users\\Matrix2012\\Desktop\\wc.jar");


d、本地执行main方法&＃xff0c;servlet调用MR。


!

出错1&＃xff1a;

org.apache.hadoop.security.AccessControlException: Permission denied: user&＃61;Matrix2012, access&＃61;EXECUTE, inode&＃61;"/tmp":root:supergroup:drwx------


如何解决&＃xff1f;

把系统管理员的名字改成你的Hadoop集群运行hadoop的那个用户。


出错2&＃xff1a;

2016-03-09 20:23:45,002 INFO [main] mapreduce.Job (Job.java:monitorAndPrintJob(1375)) - Job job_1457517319627_0005 failed with state FAILED due to: Application application_1457517319627_0005 failed 2 times due to AM Container for appattempt_1457517319627_0005_000002 exited with exitCode: 1 due to: Exception from container-launch: ExitCodeException exitCode&＃61;1:
ExitCodeException exitCode&＃61;1: at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)at org.apache.hadoop.util.Shell.run(Shell.java:455)at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)at java.util.concurrent.FutureTask.run(FutureTask.java:262)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)at java.lang.Thread.run(Thread.java:745)


如何解决&＃xff1f;

通过http://node5:8088即ResourceManager的Web UI监控查看container日志

http://node5:8088/logs/userlogs/application_1457526714329_0002/container_1457526714329_0002_01_000001/

重新在TMapReduce项目下打Jar包

重新在lib包下导入Jar包

3、直接在服务器上&＃xff0c;使用命令的方式调用&＃xff0c;执行过程也在服务器上

a、把MR程序打包&＃xff08;jar&＃xff09;&＃xff0c;传送到服务器上b、通过&＃xff1a; hadoop jar jar路径 类的全限定名