hadoop笔记——YARN部署

1. resource manager在实现高可用的时候&＃xff0c;需要自己争抢锁
2. node manager集成了shuffle服务&＃xff0c;因为同一个节点可以有很多MapReduce任务
3. yarn ha也有有两个&＃xff0c;active和standby
4. 逻辑到物理的映射&＃xff1a;yarn.resourcemanager.ha.re_ids为rm1和rm2&＃xff0c;然后yarn.resourcemanager.hostname.rm1为master1

整体步骤&＃xff1a;

1. node01为管理节点&＃xff0c;所以配置信息在node01写&＃xff0c;然后分发

2. cpmapred-site.xml.templatemapred-site.xml

3. vimapred-site.xml&＃xff0c;写入

   mapreduce.framework.name

   yarn

vi yarn-site.xml&＃xff0c;写入

yarn.nodemanager.aux-services mapreduce\_shuffle yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 node03 yarn.resourcemanager.hostname.rm2 node04 yarn.resourcemanager.zk-address node02:2181,node03:2181,node04:2181

然后

scp mapred-site.xml yarn-site.xml node02:&＃96;pwd&＃96;

scp mapred-site.xml yarn-site.xml node03:&＃96;pwd&＃96;

scp mapred-site.xml yarn-site.xml node04:&＃96;pwd&＃96;

在管理节点node01启动&＃xff1a;start-yarn.sh

在node03和node04&＃xff1a;yarn-daemon.sh start resourcemanager

至此http://node03:8088和http://node04:8088可以成功启动就ok了

停止&＃xff1a;stop-yarn.sh

在node03和node04&＃xff1a;yarn-daemon.sh stop resourcemanager