hadooptyarn冲突_Doris与Hadoopyarn混合部署遇到的坑

Doris默认端口

Yarn 默认端口&＃xff1a;

如图&＃xff0c;端口冲突&＃xff0c;在混合部署的情况下&＃xff0c;会出现2个问题&＃xff1a;

1. Yarn ResourceManager启动不起来

解决办法&＃xff1a;修改yarn.resourcemanager.scheduler.address的端口&＃xff0c;具体做法为&＃xff1a;

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加或修改(如果已经配置了yarn.resourcemanager.scheduler.address&＃xff0c;并保留原始端口),默认没有这个配置项的情况下&＃xff0c;默认值为8030

yarn.resourcemanager.scheduler.address

palo253:8035

修改为系统中任意没有被占用的端口&＃xff0c;目的是解决8030端口的冲突问题。

或者修改doris fe.conf配置&＃xff0c;将http port修改为其他端口

2. 在解决了1之后&＃xff0c;yarn可以正常启动&＃xff0c;但是一旦运行mapreduce任务&＃xff0c;会发现一直mr任务一直hung&＃xff0c;没有任何进展&＃xff0c;原因是modemanager启动失败

解决办法:

a) 修改yarn-site.xml,添加yarn.nodemanager.localizer.address配置&＃xff0c;配置为与8040不同的端口

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

yarn.nodemanager.localizer.address

0.0.0.0:8046

b) 修改 doris be.conf,将webserver_port修改为其他端口