配置安装Hadoop

将hadoop2.7.1打包下载

上传到需要安装的服务器上，解压（pwd显示目录）

Zip文件的解压不能使用tar，要使用unzip

[root@master ~]# unziphadoop-mapreduce-wyz-projects.zip

解压hadoop压缩包

tar -xvf curr_hadoop.tar

解压后就自动到了hadoops目录下

删除目录下的压缩包：rm -rf hadoop-2.7.1.tar.gz

Hadoop目录在cd/opt/hadoops/Hadoop-2.7.1/etc/hadoop下

cat slaves查看slave集群

然后ping slave1和slave2

分别都能ping通

Hadoop2.7.1目录下的sbin目录中存放着各种.sh文件

[root@master sbin]# ./stop-all.sh在目录下执行./stop-all.sh停止所有的进程

Free –g查看内存

接下来跑配置ssh免密码登录

Ifconfig命令：查看本地的网卡信息如下—ifconfig

Hostname查看主机名称slave2

1、在每台服务器上都执行ssh-keygen

-t rsa生成密钥对:

#ssh-keygen -t rsa

2、在每台服务器上生成密钥对后，将公钥复制到需要无密码登陆的服务器上：

举例如192.168.15.240，192.168.15.241，192.168.15.242这三台服务器需要做相互免密码登陆，在每台服务器生成密钥对后，在每台服务器上执行ssh-copy-id命令（具体说明及用法见最后附录），将公钥复制到其它两台服务器上(此处以192.168.15.240为例，用户为root,其它两台步骤相同）

#ssh-copy-id -i  ~/.ssh/id_rsa.pubroot@192.168.15.241

#ssh-copy-id -i  ~/.ssh/id_rsa.pubroot@192.168.15.242

以上命令，可以自动将公钥添加到名为authorized_keys的文件中，在每台服务器都执行完以上步骤后就可以实现多台服务器相互无密码登陆

2、

C:\Windows\System32\drivers\etc目录下hosts修改：添加需要的集群信息

History|more查看所有的历史命令

当天的所有命令：

开始配置mvn

和maven的环境变量：

Maven的配置前面也是压缩、太欣在.10上把maven文件压缩

[root@data-m opt]# tar -cvfapache-maven-3.2.1.tar apache-maven-3.2.1/

压缩完毕后，把压缩包下载下来，上传到需要安装的服务器上，紧接着，太欣查看了.10环境变量配置情况：

[root@data-m opt]# cat/etc/profile.d/custom.sh

然后，把maven的环境变量配置情况拷贝出来，放到需要配置的服务器的/etc/profile目录下

然后放进去就可以了

最后是执行和运行mapreduce程序，在eclipse中编写好之后：压缩=>上传=>解压=>配置环境变量运行（本地的文件存放在D:\git\voole-stat\stat-projects\hadoop-projects）

把数据放到该目录下

[root@master ~]# cd /opt/soft/statproject/

[root@master statproject]# ll

文件上传到该stat目录下的hadoop projects目录下，开始执行（注：必须放在指定的目录下，由于依赖关系的限制，放在哪儿里看这儿）

把整个工程上传上去了，然后初始化sh install.sh

关于初始化：

[root@master hadoop-2.7.1]# mvn –v

查看maven的相关版本号

[root@master hadoop-2.7.1]# hadoop fs -ls /

查看hadoop下面的目录信息

[root@master hadoop-2.7.1]# cd /opt/

[root@master opt]# ll

然后进入到soft目录下，进入到soft目录下的stat-projects目录下

最后install.sh

[root@data-m ~]# cd /opt/soft/

[root@data-m soft]# cd stat-project/