写论文的第一天hadoop环境搭建

                                                        毕设日志_____2019.1.23

实验集群环境搭建

三台阿里云服务器     

通过filezilla上传 jdk1.8.01_192.tar.gz 以及hadoop.2.6.0.tar.gz到主节点 

下载Xshell作为远程连接工具

1&＃xff1a;更改名称  

用Xshell连接三台服务器  分别修改其主机名为 master node1 node2  对应服务器表格

命令如下  vim /etc/hostname 

2&＃xff1a;修改主机映射 

Vim /etc/hosts    

在原有文件上增加

120.79.63.130   node2

112.74.50.240  master

39.108.232.147  node1

通过scp将映射文件复制到子节点并且覆盖原有文件

命令&＃xff1a;scp  /etc/hosts  node1:/etc/hosts

           scp  /etc/hosts  node2:/etc/hosts

3&＃xff1a;ssh免密

主节点执行命令  ssh-keygen –t rsa 产生公共密钥   一直回车会将公钥默认保存到~/.ssh/id_rsa.pub中

命令&＃xff1a;ssh-copy-id -i node1

ssh-copy-id -i node2

将公钥导入到node1和node2中 来实现master到子节点的免密

命令&＃xff1a;cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

           将master密钥导入到本地 实现本地ssh免密登陆

4&＃xff1a;jdk安装

将filezilla传到主节点的jdk压缩包解压

命令&＃xff1a; tar –zxf ./jdk1.8.0_192 /usr/local    解压到/usr/local目录

配置JAVA_HOME 

命令&＃xff1a; vim /etc/profile  

进入文件增加如下

#set JAVA_HOME

export JAVA_HOME&＃61;/usr/local/jdk1.8.0_192

export PATH&＃61;$PATH:$JAVA_HOME/bin

export CLASSPATH&＃61;.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存并且退出 执行命令&＃xff1a; source /etc/profile使配置生效 

通过在端口键入 java –version查看是否安装并且配置成功

至此配置jdk成功

将jdk传到两个子节点上并且配置JAVA_HOME 步骤如上

命令&＃xff1a;scp –r /usr/local/jdk1.8.0_192  node1:/usr/local/

        scp –r /usr/local/jdk1.8.0_192  node2:/usr/local/

5&＃xff1a;hadoop安装

在主节点将hadoop2.6.0的压缩包解压 

命令: tar –zxf ./hadoop2.6.0.tar.gz  /usr/local/

           解压到/usr/local目录下生成hadoop.2.6.0

           为了以后方便使用 改名为hadoop

命令&＃xff1a;mv ./hadoop.2.6.0 ./hadoop

配置主节点hadoop中的core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml

配置如下

在core-site.xml中增加

                fs.defaultFS

                hdfs://Master:9000

                hadoop.tmp.dir

                file:/usr/local/hadoop/tmp

                Abase for other temporary directories.

在hdfs-site.xml中增加

                dfs.namenode.secondary.http-address

                Master:50090

                dfs.replication

                3

                dfs.namenode.name.dir

                file:/usr/local/hadoop/tmp/dfs/name

                dfs.datanode.data.dir

                file:/usr/local/hadoop/tmp/dfs/data

在yarn-site.xml中增加

                yarn.resourcemanager.hostname

                Master

                yarn.nodemanager.aux-services

                mapreduce_shuffle

将mapred-site.xml.template复制一份为mapred-site.xml.并增加

                mapreduce.framework.name

                yarn

                mapreduce.jobhistory.address

                Master:10020

                mapreduce.jobhistory.webapp.address

                Master:19888

主节点搭建完毕 复制到两个子节点

命令&＃xff1a;  scp /usr/local/hadoop node1:/usr/local

              scp /usr/local/hadoop node2:/usr/local

检测集群是否搭建成功  为了方便以后使用为hadoop配置PATH

命令&＃xff1a;  vim /etc/profile

#set HADOOP_HOME

export PATH&＃61;$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

开始测试hadoop集群是否搭建成功

命令&＃xff1a; start-all.sh

查看主节点进程

查看node1进程

查看node2进程

所有进程启动正常  Hadoop集群配置成功 

注意&＃xff1a;在使用Xshell时可以粘贴复制配置文件&＃xff0c;但是在linux中&＃xff0c;hadoop集群启动时会对core-site.xml hdfs-site.xml 等等进行解析

这里要注意在copy的时候在xml文件的开始行有默认的xml注释&＃xff0c;表明这是该xml文件的版本以及编码格式。这个标明前面不要有任何其他内容&＃xff08;空格 空行都不行&＃xff09;否则启动hadoop集群的时候会出现解析错误从而导致hadoop集群启动失败。