Yarn篇搭建yarn集群

一。前述

有了上次hadoop集群的搭建&＃xff0c;搭建yarn就简单多了。废话不多说&＃xff0c;直接来

二。规划

 三。配置如下

yarn-site.xml配置

 
        yarn.nodemanager.aux-services
        mapreduce_shuffle//定义yarn的机制
   

   yarn.resourcemanager.ha.enabled//是否使用HA
   true
 
 
   yarn.resourcemanager.cluster-id//集群Id
   cluster1
 
 
   yarn.resourcemanager.ha.rm-ids//集群逻辑节点
   rm1,rm2
 
 
   yarn.resourcemanager.hostname.rm1//集群物理节点
   node03
 
 
   yarn.resourcemanager.hostname.rm2//集群物理节点
   node04
 
 
   yarn.resourcemanager.zk-address>//与zookeeper通信
   node02:2181,node03:2181,node04:2181
 

mapred-site.xm配置

        mapreduce.framework.name//使用yran
        yarn
 
PS  :slaves中既是datanode配置同时也是nodemanger的配置

四。配置免密

同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密
五。启动顺序
养成一个好习惯&＃xff0c;先把集群停掉&＃xff0c;然后再添加配置&＃xff0c;&＃xff08;其实不停也行&＃xff09;

先在node01节点上手动先启动hdfs集群start-dfs.sh

node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)

然后再在node03和node04手动启动resourcemanger

yarn-daemon.sh start resourcemanager

六。验证

自此集群搭建成功&＃xff01;&＃xff01;&＃xff01;

持续更新中。。。。&＃xff0c;欢迎大家关注我的公众号LHWorld.