Hadoop中Java报错的标志_Hadoop执行作业时报错：java.lang.OutOfMemoryError:Javaheapspace...

常常被一些用户问到&＃xff0c;说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误&＃xff0c;然后失败呢&＃xff1f;以前同一个作业没出现过的呀&＃xff1f;”

10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED

java.lang.OutOfMemoryError: Java heap space

at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.java:498)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)

at org.apache.hadoop.mapred.Child.main(Child.java:158)

其实这样的错误有时候并不是程序逻辑的问题(当然有可能是由于程序写的不够高效&＃xff0c;产生的内存消耗不合理而导致)&＃xff0c;而是由于同样的作业&＃xff0c;在数据量和数据本身发生不同时就会占据不同数量的内存空间。由于hadoop的mapreduce作业的运行机制是&＃xff1a;在jobtracker接到客户端来的job提交后&＃xff0c;将许多的task分配到集群中各个tasktracker上进行分块的计算&＃xff0c;而根据代码中的逻辑可以看出&＃xff0c;其实是在tasktracker上启了一个java进程进行运算&＃xff0c;进程中有特定的端口和网络机制来保持map 和reduce之间的数据传输&＃xff0c;所以&＃xff0c;这些OOM的错误&＃xff0c;其实就是这些java进程中报出了OOM的错误。

知道了原因以后就好办了&＃xff0c;hadoop的mapreduce作业启动的时候&＃xff0c;都会读取jobConf中的配置(hadoop-site.xml)&＃xff0c;只要在该配置文件中将每个task的jvm进程中的-Xmx所配置的java进程的max heap size加大&＃xff0c;就能解决这样的问题&＃xff1a;

mapred.child.java.opts

-Xmx1024m

PS&＃xff1a;该选项默认是200M

新版本应该是在conf/hadoop-env.sh文件中修改。默认为1000M

通过此配置可以增加hadoop的jvm可分配的的内存大小。

对于通过RPM or DEB方式来安装的&＃xff0c;所有的配置文件在 /etc/hadoop目录下, /etc/hadoop/hadoop-env.sh 里设置了java可用的最大堆内存大小&＃xff1a;

可以改变此设置为:

来增加可用内存大小。