Hdoop分布式安装要点

1&＃xff09;合适的用户

建议添加一个名为hadoop的用户方便记忆&＃xff08;其实什么用户都无大碍&＃xff09;&＃xff0c;不建议使用root&＃xff01;&＃xff01;具体方法自行检索&＃xff0c;这里提供总体的过程梳理&＃xff0c;下同。

2&＃xff09;合适的java版本

不建议使用Ubuntu自带的java版本&＃xff0c;请自行下载并让当前用户使用。

3&＃xff09;openssh-server

Ubuntu默认只安装了ssh客户端&＃xff0c;没有安装服务器端&＃xff0c;安装ssh服务器端是必须的。

4&＃xff09;关闭防火墙

root权限用户&＃xff1a;

iptables -F

1&＃xff09;修改hostname

Ubuntu的主机名&＃xff08;hostname&＃xff09;修改的位置是&＃xff1a;/etc/hostname

建议修改为masterX或slaveX

2&＃xff09;修改hosts表

vi /etc/hosts  建立各集群主机名&＃xff08;hostname&＃xff09;与ip的对应关系

127.0.0.1这个本地回环地址只能映射为localhost&＃xff0c;有多余的删除&＃xff01;&＃xff08;伪分布式可能使用&＃xff0c;集群模式不能使用&＃xff09;

3&＃xff09;配置PATH、JAVA_HOME变量

配置~/.bashrc文件里的PATH、JAVA_HOME

修改几个配置文件&＃xff1a;

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

和DataNode结点的主机名文件&＃xff1a;

slaves

将配置好的整个hadoop文件&＃xff08;第三步&＃xff09;复制到集群里所有的机器中&＃xff08;避免重复操作的不二选择0.o&＃xff09;

建议使用scp命令

master主机可以ssh免密登录所有的主机包括自己&＃xff08;localhost&＃xff09;。

master主机的当前用户产生ssh公私钥&＃xff0c;将公钥发给所有机器的当前用户&＃xff0c;所有的用户将该公钥保存到允许列表&＃xff08;authorized_key&＃xff09;里&＃xff0c;master用自己的私钥实现身份认证从而免密登录。

maser主机上执行

hdfs namenode -format

--

以上