Hive集成Tez引擎跑任务出现的问题（Javaheapspace问题）

问题1&＃xff1a;Hive集成Tez引擎跑任务出现异常&＃xff1a;TaskAttempt 3 failed, info&＃61;[Error: Error while running task ( failure ) : attempt_1597977573448_0002_1_16_000000_3:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space

看yarn 的job平台是success的&＃xff0c;所以想到Tez的内存设置问题&＃xff0c;因为Tez引擎是纯内存操作&＃xff0c;所以对内存大小肯定有要求。所以查看下tez的设置情况&＃xff1a;

查看了

SET hive.tez.container.size;容器大小&＃xff1a;如果8G&＃xff0c;去除预留和其他组件给4G&＃xff0c;4*1024
SET hive.tez.java.opts;(java内存设置 -Xmx1048m)值一般是80% * 容器大小
SET hive.am.resource.memory.mb;
SET hive.am.java.opts;


以下是调优参数这是&＃xff1a;

问题2&＃xff1a;如果报以下问题&＃xff1a;

Status: Failed
Vertex&＃39;s TaskResource is beyond the cluster container capability,Vertex&＃61;vertex_1597977573448_0003_1_00 [Map 9], Requested TaskResource&＃61;, Cluster MaxContainerCapability&＃61;
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex&＃39;s TaskResource is beyond the cluster container capability,Vertex&＃61;vertex_1597977573448_0003_1_00 [Map 9], Requested TaskResource&＃61;<memory:4096, vCores:1>, Cluster MaxContainerCapability&＃61;<memory:2048, vCores:2>


则继续调整tez内存大小&＃xff0c;不能超过yarn的单个任务的最大设置。

执行ok了

附录&＃xff1a;

一、AM、Container大小设置1、tez.am.resource.memory.mb　　#设置 tez AM容器内存默认值&＃xff1a;1024　　配置文件&＃xff1a;tez-site.xml　　建议&＃xff1a;不小于或者等于yarn.scheduler.minimum-allocation-mb值。2、hive.tez.container.size　　#设置 tez container内存默认值&＃xff1a;-1默认情况下&＃xff0c;Tez将生成一个mapper大小的容器。这可以用来覆盖默认值。配置文件&＃xff1a;hive-site-xml　　建议&＃xff1a;不小于或者是yarn.scheduler.minimum-allocation-mb的倍数
二、AM、Container JVM参数设置
1、tez.am.launch.cmd-opts　　#设置 AM jvm&＃xff0c;启动TEZ任务进程期间提供的命令行选项。默认值&＃xff1a;-XX:&＃43;PrintGCDetails -verbose:gc -XX:&＃43;PrintGCTimeStamps -XX:&＃43;UseNUMA -XX:&＃43;UseParallelGC(用于GC)&＃xff0c;默认的大小&＃xff1a;80%*tez.am.resource.memory.mb　　配置文件&＃xff1a;tez-site.xml　　建议&＃xff1a;不要在这些启动选项中设置任何xmx或xms&＃xff0c;以便tez可以自动确定它们。　　
2、hive.tez.java.ops　　#设置 container jvm默认值&＃xff1a;Hortonworks建议“–server –Djava.net.preferIPv4Stack&＃61;true–XX:NewRatio&＃61;8 –XX:&＃43;UseNUMA –XX:UseG1G”&＃xff0c;默认大小&＃xff1a;80%*hive.tez.container.size　　说明&＃xff1a;在hive 2.x的官方文档中没有找到这个参数。看有些博客里面有这个值。　　配置文件&＃xff1a;hive-site.xml
3、tez.container.max.java.heap.fraction　　#设置task/AM占用jvm内存大小的比例。　　默认值&＃xff1a;0.8　　配置文件&＃xff1a;tez-site.xml　　说明&＃xff1a;这个值按具体需要调整&＃xff0c;当内存不足时&＃xff0c;一般都要调小。三、Hive内存Map Join参数设置1、tez.runtime.io.sort.mb　　#设置输出排序内存大小　　默认值&＃xff1a;100　　配置文件&＃xff1a;tez-site.xml　　建议&＃xff1a;40%*hive.tez.container.size&＃xff0c;一般不超过2G2、hive.auto.convert.join.noconditionaltask　　#是否将多个mapjoin合并为一个　　默认值&＃xff1a;true　　建议使用默认值。　　配置文件&＃xff1a;hive-site.xml3、hive.auto.convert.join.noconditionaltask.size 　　默认值&＃xff1a;10000000　　(10M)　　说明&＃xff1a;这个参数使用的前提是hive.auto.convert.join.noconditionaltask值为true&＃xff0c;多个mapjoin转换为1个时&＃xff0c;所有小表的文件大小总和小于这个值&＃xff0c;这个值只是限制输入的表文件的大小&＃xff0c;并不代表实际mapjoin时hashtable的大小。 建议值&＃xff1a;1/3* hive.tez.container.size　　配置文件&＃xff1a;hive-site.xml
4、tez.runtime.unordered.output.buffer.size-mb　　#如果不直接写入磁盘&＃xff0c;使用的缓冲区大小　　默认值&＃xff1a;100M 　建议&＃xff1a;10%* hive.tez.container.size　　配置文件&＃xff1a;tez-site.xml5、tez.am.container.reuse.enabled　　#容器重用　　默认值&＃xff1a;true　　配置文件&＃xff1a;tez-ste.xml