MapReduce分布式离线计算框架的部署

基于hadoop2.x的搭建
启动集群
关闭集群

• 规划

• 关闭所有防火墙
  service iptables stop
• 配置mapred-site.xml文件

1. 进入自己的hadoop安装包解压文件夹中的etc/hadoop文件夹:cd /home/hadoop-2.6.5/etc/hadoop
2. 将mapred-site.xml.template模板文件更名为mapred-site.xml:mv mapred-site.xml.template mapred-site.xml
3. 配置文件vim mapred-site.xml

mapreduce.framework.name #意思是框架的名称yarn #mapreduce运行在yran之上



• 配置yarn-site.xml

1. 进入自己的hadoop安装包解压文件夹中的etc/hadoop文件夹:cd /home/hadoop-2.6.5/etc/hadoop
2. 打开文件(和mapred-site.xml同一目录)vim yarn-site.xml

(演示代码,拷贝使用请去注释后,在notepad中去格式)
yarn.nodemanager.aux-servicesmapreduce_shuffle

yarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.cluster-idmr_Crediyarn.resourcemanager.ha.rm-idsrm1,rm2yarn.resourcemanager.hostname.rm1node02yarn.resourcemanager.hostname.rm2node03yarn.resourcemanager.zk-addressnode01:2181,node02:2181,node03:2181


• 将/home/hadoop-2.6.5/etc/hadoop/下的mapred-site.xml文件和yarn-site.xml文件发送给其他规划为hadoop集群中的服务器的同等路径下

scp -r mapred-site.xml node02:/home/hadoop-2.6.5/etc/hadoop/
scp -r mapred-site.xml node03:/home/hadoop-2.6.5/etc/hadoop/
scp -r yarn-site.xml node02:/home/hadoop-2.6.5/etc/hadoop/
scp -r yarn-site.xml node03:/home/hadoop-2.6.5/etc/hadoop/

• 启动集群

• 关闭所有防火墙service iptables stop
• 启动所有的zookeeper服务器(ZK)zkServer.sh start,
  jps命令可以查看进程:QuorumPeerMain
  zkServer.sh status查看状态
• 全面启动start-all.sh
• 规划作为RM服务器的节点启动ResourceManeger:yarn-daemon.sh start resourcemanager

• 关闭集群

• 关闭所有的zookeeper服务器(ZK)zkServer.sh stop,
• 全面关闭stop-all.sh
• 规划作为RM服务器的节点关闭ResourceManeger:yarn-daemon.sh stop resourcemanager