centos部署hadoop完全分布式

步骤总览&＃xff1a;

a、安装jdk

b、安装hadoop&＃xff0c;配置hadoop环境变量&＃xff0c;修改hadoop配置文件

c、克隆虚拟机 

d、修改ip地址为固定ip&＃xff0c;编写hosts与hostname

e、配置无密登录ssh&＃xff0c;编写xcall&＃xff0c;xsync

f、hadoop格式化&＃xff0c;启动守护进程。

--------------------------------------------------------

1. 安装jdk
   1. 卸载原有的openjdk
      1. 查看CentOS自带JDK是否已安装。

◆输入&＃xff1a;yum list installed |grep java。

1. 1. 1. 若有自带安装的JDK&＃xff0c;如何卸载CentOS系统自带Java环境&＃xff1f;

◆卸载JDK相关文件输入&＃xff1a;yum -y remove java-1.7.0-openjdk*。

◆卸载tzdata-java输入&＃xff1a;yum -y remove tzdata-java.noarch。

1. 1. 1.   当结果显示为Complete&＃xff01;即卸载完毕。

1. 1. 安装jdk
      1. 下载jdk &＃xff0c;并解压到soft目录下

$> sudo tar zxvf jdk-8u65-linux-x64.tar.gz -C /soft

1. 1. 1. 编写source /etc/profile&＃xff0c;输入已下内容

#java environment

export JAVA_HOME&＃61;/soft/jdk1.8.0_65

export CLASSPATH&＃61;.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

export PATH&＃61;$PATH:${JAVA_HOME}/bin

1. 1. 1. 刷新资源 $>source /etc/profile
      2. 查看版本

1. 安装hadoop&＃xff0c;并配置完全分布式

1. 解压到/soft目录下

b、    复制/soft/hadoop/erc/hadoop文件&＃xff0c;其中full为完全分布式的配置文件&＃xff0c;presu为委分布&＃xff0c;local为本地。删除hadoop文件夹&＃xff0c;创建hadoop链接

           配置hadoop环境变量&＃xff0c;并检查是否成功

$>sudo nano /etc/profile

           ...

           export JAVA_HOME&＃61;/soft/jdk

           exprot PATH&＃61;$PATH:$JAVA_HOME/bin

           export HADOOP_HOME&＃61;/soft/hadoop

                    export PATH&＃61;$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效&＃xff1a;

$>source /etc/profile

检查是否成功

$> hadoop version

C、 创建几个文件夹&＃xff0c;尽量创建在home下&＃xff0c;省得权限问题

D、 修改/soft/hadoop/etc/full的配置文件

【core-site.xml】

        hadoop.tmp.dir

        /home/zhangdada/hadoop/tmp

        Abase for other temporary directories.

        fs.default.name

        hdfs://s200:9000

【hadoop-env.sh】

修改java的地址将export   JAVA_HOME&＃61;${JAVA_HOME}

         修改为&＃xff1a;export JAVA_HOME&＃61;/soft/jdk1.8.0_65

【hdfs-site.xml】

   dfs.name.dir

   /home/zhangdada /hadoop/dfs/name

   Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.

   dfs.data.dir

   /home/zhangdada /hadoop/dfs/data

   Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.

   dfs.replication

   1

replication  count

      dfs.permissions

      false

      need not permissions

说明&＃xff1a;dfs.permissions配置为false后&＃xff0c;可以允许不要检查权限就生成dfs上的文件&＃xff0c;方便倒是方便了&＃xff0c;但是你需要防止误删除&＃xff0c;请将它设置为true&＃xff0c;或者直接将该property节点删除&＃xff0c;因为默认就是true。

【mapred-site.xml】这个文件是由sudo cp mapred-site.xml.template mapred-site.xml得来的。

   mapred.job.tracker

   s200:49001

      mapred.local.dir

       /home/zhangdada /hadoop/var

       mapreduce.framework.name

       yarn

【slaves】

S201

【yarn-site.xml】

        yarn.resourcemanager.hostname

        s200

       The address of the applications manager interface in the RM.

        yarn.resourcemanager.address

        ${yarn.resourcemanager.hostname}:8032

        The address of the scheduler interface.

        yarn.resourcemanager.scheduler.address

        ${yarn.resourcemanager.hostname}:8030

        The http address of the RM web application.

        yarn.resourcemanager.webapp.address

       ${yarn.resourcemanager.hostname}:8088

        The https adddress of the RM web application.

        yarn.resourcemanager.webapp.https.address

        ${yarn.resourcemanager.hostname}:8090

       yarn.resourcemanager.resource-tracker.address

        ${yarn.resourcemanager.hostname}:8031

        The address of the RM admin interface.

        yarn.resourcemanager.admin.address

        ${yarn.resourcemanager.hostname}:8033

        yarn.nodemanager.aux-services

        mapreduce_shuffle

        yarn.scheduler.maximum-allocation-mb

        2048

        每个节点可用内存,单位MB,默认8182MB

        yarn.nodemanager.vmem-pmem-ratio

        2.1

        yarn.nodemanager.resource.memory-mb

        2048

        yarn.nodemanager.vmem-check-enabled

        false

       说明&＃xff1a;yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查&＃xff0c;如果你是安装在虚拟机上&＃xff0c;这个配置很有用&＃xff0c;配上去之后后续操作不容易出问题。如果是实体机上&＃xff0c;并且内存够多&＃xff0c;可以将这个配置去掉。

1. 克隆虚拟机 &＃xff0c;

1. 修改ip地址为固定ip&＃xff0c;编写hosts与hostname

/etc/sysconfig/network-scripts/ifcfg-xxxx文件中的ip地址

1. 配置无密登录ssh&＃xff0c;编写xcall&＃xff0c;xsync

【配置ssh】&＃xff1a;

1)检查是否安装了ssh相关软件包(openssh-server &＃43; openssh-clients &＃43; openssh)

                             $yum list installed | grep ssh

2)检查是否启动了sshd进程

                             $>ps -Af | grep sshd

3)在client侧生成公私秘钥对。

                             $>ssh-keygen -t rsa -P &＃39;&＃39; -f ~/.ssh/id_rsa

4)生成~/.ssh文件夹&＃xff0c;里面有id_rsa(私钥) &＃43; id_rsa.pub(公钥)

5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

                             $>cd ~/.ssh

                             $>cat id_rsa.pub >> authorized_keys

6)将s201的公钥文件id_rsa.pub远程复制到202 ~ 204主机上。

  并放置/home/centos/.ssh/authorized_keys

           $>scp id_rsa.pub centos&＃64;s201:/home/centos/.ssh/authorized_keys

7)修改authorized_keys的权限为644.

                             $>chmod 644 authorized_keys

8)测试

                             $>ssh localhost

 如果ssh不成功的话&＃xff0c;要查看目标机器的日志

$>cat /var/log/secure

修改目标机器的权限&＃xff1a;

·sshd为了安全&＃xff0c;对属主的目录和文件权限有所要求。如果权限不对&＃xff0c;则ssh的免密码登陆不生效。

• 用户目录权限为 755 或者 700&＃xff0c;就是不能是77x。
• .ssh目录权限一般为755或者700。
• rsa_id.pub 及authorized_keys权限一般为644
• rsa_id权限必须为600

【xcall.sh与xsync.sh】

• 将两个文件放到 /bin 目录下&＃xff0c;添加可执行的权限

$>mv xcall.sh /bin

$>chmod o&＃43;w xcall.sh

• 使用xcall.sh在所有节点上创建jps符号连接&＃xff0c;指向/soft/jdk/bin/jps

------------------------------------------------------------------

     1.切换到root用户

              $>su root

     2.创建符号连接

              $>xcall.sh "ln -sfT /soft/jdk1.8.0_65/bin/jps /usr/local/bin/jps"

     3.修改jps符号连接的owner

              $>xcall.sh "chown -h zhangdada:zhangdada /usr/local/bin/jps"

     4.查看所有主机上的java进程

              $>xcall.sh jps

1. 格式化&＃xff0c;

 $>hdfs namenode –format

启动&＃xff0c;

$>start-dfs.sh

$>start-yarn.sh

查看(启动成功)

查看启用的线程 netstat –ntlp

在主机上查看hdfs&＃xff1a;http://192.168.209.200:50070

1. hdfs的一些操作