因为公司的服务器上用的RedHat Linux 6，所以本安装指南也是基于RedHat完成的，但是其它版本，如Ubuntu、CentOS等也可参考，无本质上的差异。
本次测试环境只有3台服务器，所以一台做主结点，另外两台做数据结点。
2018年1月完成的本次安装，所以使用的软件版本如下所示，选用的均是稳定版本。
一般情况下，我们都是在一台服务器上做完hadoop，zookeeper，hbase等的配置，然后拷贝到集群里另外的服务器上直接使用。有的情况配置稍作一点修改，请大家注意。更多我的文字可以到：数圈儿进一步关注。
1.1 修改主机名，方便通过主机名进行网络互通
为了操作方便，先给3台服务器起个名字。linux修改主机名的方法如下：
hostname命令可以临时修改机器名，但机器重新启动之后就会恢复原来的值。
hostname //查看机器名
hostname -i //查看本机器名对应的ip地址
1.2 另外一种方法就是修改“/etc/hosts”这个文件
系统重启后仍然有效，所以我们采用这个方法修改3台服务器的主机名
修改/etc/hosts文件，对于统本身用到主机名的地方不会变化。这是因为hosts 是网络中用的，解决的是类似DNS的问题。/etc/sysconfig/network是本机自己使用的。
详细可参考：https://blog.csdn.net/trochiluses/article/details/11483591
我的hosts文件示例：
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.20.10.40 BI01
172.20.10.41 BI02
172.20.10.42 BI03
这里3台服务器分别取名为BI01，BI02和BI03.
1.3 RedHat配置本地Yum仓库
公司服务器上RedHat是安装的Basic Server版本，大量常用软件没有安装。同事把安装光盘挂载到了服务器上，这里是创建一个本地的仓库指向光盘，方便快速的安装需要的软件
详细参考：http://www.runoob.com/linux/linux-yum.html
具体按照如下步骤进行：
步骤一：将RHEL6光盘手动挂载到/media
[root@localhost ~]# mount /dev/cdrom /media/
mount: block device /dev/sr0 is write-protected, mounting read-only
[root@localhost ~]# mount | tail -1
/dev/sr0 on /media type iso9660 (ro)
步骤二：将本地设置为客户端，进行Yum验证
命令操作如下所示：
[root@localhost ~]# cd /etc/yum.repos.d/ //必须在这个路径下
[root@localhost yum.repos.d]# ls //此路径下事先有配置文件的模板
rhel-source.repo
[root@localhost yum.repos.d]# cp rhel-source.repo rhel6.repo //配置文件必须以.repo结尾
[root@localhost yum.repos.d]# vim rhel6.repo
[rhel-6] //括号里的ID要求唯一，但不要出现特殊字符
name=Red Hat Enterprise Linux 6 //描述信息，可以看情况填写
baseurl=file:///media/ //yum软件仓库位置，指向光盘挂载点
enabled=1 //是否开启，1为开启，0为不开启
gpgcheck=1 //是否检查签名，1为监测，0为不检测
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release //签名认证信息的路径
步骤三：加载上一个步骤中新建的仓库
[root@localhost /]# yum repolist
Loaded plugins: product-id, refresh-packagekit, security, subscription-manager
This system is not registered to Red Hat Subscription Management SinanWu. You can use subscription-manager to register.
rhel-6 | 3.9 kB 00:00 ...
rhel-6/primary_db | 3.1 MB 00:00 ...
repo id repo name status
rhel-6 Red Hat Enterprise Linux 6 3,690
repolist: 3,690
我的实际操作如下：
[root@BI01 ~]# ls /apps/cdrom/
[root@BI01 yum.repos.d]# vi rhel-local.repo
[rhel-local]
name=Red Hat Enterprise Linux $releasever - $basearch - Local
baseurl=file:///apps/cdrom/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
1.4 安装缺失的vim，ssh client等软件
[root@BI01 /]# yum -y install vim
[root@BI01 /]# yum -y install openssh-clients
1.5 安装JDK 8
上传JDK，使用yum本地安装进行
[root@BI02 downloads]# yum localinstall jdk-8u144-linux-x64.rpm
1.6 新建大数据平台用户
不推荐使用root用户来进行安装，我们需要为整个大数据平台创建独立的用户
RedHat下使用命令：
[root@BI01 downloads]# groupadd bigdata
[root@BI03 downloads]# useradd -g bigdata bdp
详细参考：http://www.cnblogs.com/clicli/p/5943788.html
1.7 RadHat为普通用户添加sudo权限
对sudoers的修改需要root权限，因此先登录root用户：
su - root
sudoers文件默认是只读的，所以要先修改一下它的权限：
chmod u+w /etc/sudoers
使用vi修改sudoers文件
vi /etc/sudoers
找到如下这行：
root ALL=(ALL) ALL
如果你的用户名是bigdata，那么在上面这行的下面增加如下内容：
bigdata ALL=(ALL) ALL
从vi中保存退出，再将sudeors文件的权限修改回来：
chmod u-w /etc/sudoers
最后就是退出shell，再重新登录。修改完成后一定记得检查语法：
visudo -c
确保/etc/sudoers默认的权限是440（防止权限误用）
1.8 SSH免密码设置
因为集群多台服务器之间需要协同工作，原理就是执行脚本的时候，有时候要远程执行其他服务器上的命令，说白了就是ssh过去，执行相应命令。但是建立ssh连接是需要口令的，为了能让服务器之间免密码登录，就需要利用公钥体系做一个授权。
这个网上有很多资料和说明，百度“ssh 免密”
详细可参考：https://blog.csdn.net/universe_hao/article/details/52296811
步骤一：每个服务器上运行命令产生pub key
ssh-keygen -t rsa //一路回车就好
步骤二：每个服务器上把自己pub key拷贝到其它的机器上，包括自己本机
ssh-copy-id -i ~/.ssh/id_rsa.pub BI01
ssh-copy-id -i ~/.ssh/id_rsa.pub BI02
ssh-copy-id -i ~/.ssh/id_rsa.pub BI03
其实网上已经有很多hadoop集群安装的帖子，但还是会碰到一些新问题，大家可以先阅读下的两篇帖子。我把我实际安装的时候记录在后面作为补充
超详细从零记录Hadoop2.7.3完全分布式集群部署过程
http://blog.csdn.net/dream_an/article/details/52946840
补充材料：hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布式集群HA部署
http://www.aboutyun.com/forum.php?mod=viewthread&tid=13679
所有安装包解压到一个目录下面，例如我的是：/home/bdp/opt/
[bdp@BI01 opt]$ ls -al
total 48
drwxr-xr-x. 12 bdp bigdata 4096 Dec 1 15:12 .
drwx------. 10 bdp bigdata 4096 May 17 14:39 ..
drwxr-xr-x. 12 bdp bigdata 4096 Nov 20 13:10 hadoop-2.7.4
drwxr-xr-x. 9 bdp bigdata 4096 Nov 30 09:05 hbase-1.2.6
drwxr-xr-x. 11 bdp bigdata 4096 Nov 10 2017 hive-1.2.2
drwxr-xr-x. 15 bdp bigdata 4096 Aug 31 2017 impala-2.10.0
drwxr-xr-x. 12 bdp bigdata 4096 Jan 2 14:37 kylin-2.2.0
drwxr-xr-x. 12 bdp bigdata 4096 Nov 17 17:38 zookeeper-3.4.10
2.1 配置环境变量
[bdp@BI01 opt]$ vim ~/.bash_profile
该文件的最终配置如下：
#JDK
export JAVA_HOME="/usr/java/jdk1.8.0_144"
#Hadoop env
export HADOOP_HOME="/home/bdp/opt/hadoop-2.7.4"
export HIVE_HOME="/home/bdp/opt/hive-1.2.2"
export HBASE_HOME="/home/bdp/opt/hbase-1.2.6"
export KYLIN_HOME="/home/bdp/opt/kylin-2.2.0"
export PATH="$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
执行下面命令，让改动马上生效
source ~/.bash_profile
2.2 在主结点上（BI01），配置/home/bdp/opt/hadoop-2.7.4/etc/hadoop/slaves文件，增加slave主机名。
注意要把localhost删掉
BI02
BI03
2.3 配置 etc/hadoop/core-site.xml
这里就粘贴的是最终优化后的结果，有些参数可能还不是太合理，但至少对于上千万条的数据最后是跑过了。资源分配的参数，大家需要针对自己服务器的CPU核数和内存容量进行修改，不能直接copy。对于初学者，很多配置项还不理解它的作用，这里主要讲安装就不进行详解了，可以自行搜索一下，有很多资料介绍的。
2.4 配置 hdfs-site.xml
2.5 配置yarn-site.xml
2.6 配置mapred-site.xml
2.7 除了site配置文件，还有很多env的脚本需要优化
这里在很多安装教程里没有提及，因为对于安装时期来说是不需要修改的。但一旦跑起数据来，很多进程的启动脚本里分配的java虚拟机的堆栈都不够用。下面提前介绍一下，同样，直接上sh文件。
hadoop-env.sh 片段
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144
# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=40000
# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="-Xms1G -Xmx40G $HADOOP_CLIENT_OPTS"
40G是不是有些粗暴？后续待进一步优化
mapred-env.sh 片段
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
yarn-env.sh 片段
JAVA=$JAVA_HOME/bin/java
JAVA_HEAP_MAX=-Xmx1000m
2.8 Hadoop安装问题集锦
2.8.1 hadoop节点nodemanager启动失败
查看logs/yarn-bdp-nodemanager-BI02.log可以看到错误信息。其实就是yarn-site.xml配置有点问题。nodemanager要求的内存最低1024MB。
解决方案： a. yarn-env.sh中的JAVA_HEAP_MAX=-Xmx1000m
b. 更改yarn-site.xml的配置文件（如下）
a和b两个步骤都要执行，且b里面两项都要配置
2.9 配置和启动History Server
Hadoop日志聚合和jobhistoryserver配置，详细参考：
http://blog.csdn.net/qq_23146763/article/details/71896401
http://blog.csdn.net/shenfuli/article/details/52470688
注意：同时要修改hdfs上目录的权限
详细可参考：
http://www.cnblogs.com/kinginme/p/7233315.html
3.1 安装Mysql
详细可参考：
linux 安装mysql数据库——yum安装法，http://www.cnblogs.com/nzplearnSite/p/5002775.html
命令安装mysql
# yum install mysql mysql-server mysql-devel -y
最后提示 Complete! 表示安装成功
查看是否生成了mysqld服务, 并设置开机启动
# chkconfig --list |grep mysql
我们需要设置mysqld随机启动，执行下面命令进行设置
# chkconfig mysqld on
启动mysqld服务
执行如下命令进行启动，两种方法都可以:
# /etc/init.d/mysqld start
# service mysqld start
设置MySQL的root密码
mysqladmin -u root password "newpass"
mysql> create user 'hive' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> create database hivemeta;
Query OK, 1 row affected (0.00 sec)
mysql> grant all privileges on hivemeta.* to 'hive'@'%' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
注意：有时候感觉grant不起作用，是因为有的mysql版本的&＃8217;%&＃8217;不包括localhost，要单独对@&＃8217;localhost&＃8217;进行赋值
详细可参考：http://blog.sina.com.cn/s/blog_49cc672f0100w4dt.html
mysql> grant all privileges on hivemeta.* to 'hive'@'localhost' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> grant all on *.* to root@'localhost' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> select Host,User,Password from user;
+-----------+------+-------------------------------------------+
| Host | User | Password |
+-----------+------+-------------------------------------------+
| localhost | root | *F14F709577A216DE31466C3EB73SINANWUF9500 |
| bi01 | root | |
| 127.0.0.1 | root | |
| localhost | | |
| bi01 | | |
| % | root | *F14F709577A216DE31466C3EB73B85B3A95F9500 |
| % | hive | *F14F709577A216DE31466C3EB73B85B3A95F9500 |
| localhost | hive | *F14F709577A216DE31466C3EB73B85B3A95F9500 |
+-----------+------+-------------------------------------------+
8 rows in set (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
3.2 修改Hive配置文件
在目录/home/bdp/opt/hive-1.2.2/conf下拷贝一个模板出来，命名为：hive-site.xml
cp hive-default.xml.template hive-site.xml
hive-site.xml配置文件全部清空只保留以下内容，其中注意要修改jdbc的url参数
3.3 MySQL的jdbc驱动
3.4 运行hive之前首先要确保meta store服务已经启动
nohup hive --service metastore > metastore.log 2>&1 &
3.5 启动Hive后，登录Mysql查看新建的表
mysql> use hivemeta;
mysql> show tables;
+---------------------------+
| Tables_in_hivemeta |
+---------------------------+
| BUCKETING_COLS |
| CDS |
| COLUMNS_V2 |
| DATABASE_PARAMS |
| DBS |
| GLOBAL_PRIVS |
| PARTITIONS |
| PARTITION_KEYS |
| PARTITION_KEY_VALS |
| PARTITION_PARAMS |
| PART_COL_STATS |
| ROLES |
| SDS |
| SD_PARAMS |
| SEQUENCE_TABLE |
| SERDES |
| SERDE_PARAMS |
| SKEWED_COL_NAMES |
| SKEWED_COL_VALUE_LOC_MAP |
| SKEWED_STRING_LIST |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES |
| SORT_COLS |
| TABLE_PARAMS |
| TAB_COL_STATS |
| TBLS |
| VERSION |
+---------------------------+
27 rows in set (0.00 sec)
3.6 测试
详细可以参考：http://blog.csdn.net/blueheart20/article/details/38460541
hive> create table test1(name string, age int);
OK
Time taken: 1.25 seconds
hive> show tables;
OK
test1
Time taken: 0.101 seconds, Fetched: 1 row(s)
hive> desc test1;
OK
name string
age int
Time taken: 0.1 seconds, Fetched: 2 row(s)
进入MySQL查看test1表的信息：
mysql> select * from TBLS;
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME | TBL_TYPE | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
| 1 | 1509345519 | 1 | 0 | bdp | 0 | 1 | test1 | MANAGED_TABLE | NULL | NULL |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
1 row in set (0.00 sec)
3.7 安装Hive过程中碰到的问题
错误：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
原因：因为没有正常启动Hive 的 Metastore Server服务进程。
解决方法：启动Hive 的 Metastore Server服务进程，执行如下命令：
# hive --service metastore &
详细可以参考：http://blog.csdn.net/freedomboy319/article/details/44828337
错误：MetaException(message:Version information not found in metastore
详细可以参考：http://blog.csdn.net/youngqj/article/details/19987727
详细可以参考：彻底弄清Hive安装过程中的几个疑问点
http://www.aboutyun.com/thread-10937-1-1.html
详细可以参考下面两个帖子：
http://blog.csdn.net/aquester/article/details/24301195
http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkMulitServerSetup
4.1 三台服务器上分别创建data目录和myid文件
[bdp@BI02 ~]$ mkdir -p data/hadoop/zookeeper/data
Fullpath：/home/bdp/data/hadoop/zookeeper/data
[bdp@BI01 data]$ echo '1' > myid
[bdp@BI02 ~]$ echo '2' > data/hadoop/zookeeper/data/myid
[bdp@BI03 ~]$ echo '3' > data/hadoop/zookeeper/data/myid
4.2 修改conf/zoo.cfg
tickTime=2000
dataDir=/opt/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=master1:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.N中的N值必须和myid保持相同。
端口2181用于监听客户端的连接，端口2888用于Leader监听Follower的连接，而3888则用于Leader选举。
dataDir用来指定快照文件存放目录，dataLogDir用来指定事务日志文件存放目录。如果只指定了dataDir，而没指定dataLogDir，则事务日志文件也存放于dataDir指定的目录。
默认，autopurge的两个参数是被注释的。“autopurge.purgeInterval”指定自动清理快照文件和事务日志文件的时间，单位为小时，默认为0表示不自动清理，这个时候可以使用脚本zkCleanup.sh手动清理。不清理的结果是占用的磁盘空间越来越大。“autopurge.snapRetainCount”用于指定保留快照文件和事务日志文件的个数，默认为3。
最后我的配置如下：
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/home/bdp/data/hadoop/zookeeper/data
dataLogDir=/home/bdp/opt/zookeeper-3.4.10/logs
clientPort=2181
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
server.1=BI01:2888:3888
server.2=BI02:2888:3888
server.3=BI03:2888:3888
4.3 修改/bin/zkEnv.sh
设置环境变量ZOO_LOG_DIR为zookeeper的日志存放目录，如：
export ZOO_LOG_DIR=/data/hadoop/zookeeper/log
可将这一行放在ZOOKEEPER_PREFIX之后。
再修改下ZOO_LOG4J_PROP，以让日志不是输出到zookeeper.out，而是写入到日志文件，将：ZOO_LOG4J_PROP=&＃8221;INFO,CONSOLE&＃8221;，改成：
ZOO_LOG4J_PROP=&＃8221;INFO,ROLLINGFILE&＃8221;
4.4 修改conf/log4j.properties
log4j.appender.ROLLINGFILE.MaxFileSize=100MB
log4j.appender.ROLLINGFILE.MaxBackupIndex=10
设置每个日志文件大小为100M，滚动10个。
官方参考：
http://hbase.apache.org/book.html#quickstart_fully_distributed
详细可以参考：
http://blog.csdn.net/gamer_gyt/article/details/52032579
提示：先看单机伪分布的配置，才能继续真正分布式的配置
5.1 编辑/home/bdp/opt/hbase-1.2.6/conf/hbase-env.sh
# The java implementation to use. Java 1.7+ required.
export JAVA_HOME=/usr/java/jdk1.8.0_144
# Extra Java CLASSPATH elements. Optional.
# export HBASE_CLASSPATH=
# The maximum amount of heap to use. Default is left to JVM default.
export HBASE_HEAPSIZE=7G
# Uncomment below if you intend to use off heap cache. For example, to allocate 8G of
# offheap, set the value to "8G".
# export HBASE_OFFHEAPSIZE=1G
# Extra Java runtime options.
# Below are what we set by default by SinanWu. May only work with SUN JVM.
# For more on why as well as other possible settings,
# see http://wiki.apache.org/hadoop/PerformanceTuning
export HBASE_OPTS="-Xmx24G -Xms16G -Xmn9G -XX:PermSize=1G -XX:MaxPermSize=2G -XX:SurvivorRatio=8 -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:+CMSParallelRemarkEnabled -XX:+UseParNewGC -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:$HBASE_HOME/logs/gc-$(hostname)-hbase.log"
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false
5.2 编辑编辑/home/bdp/opt/hbase-1.2.6/conf/hbase-site.xml
5.3 编辑conf/regionservers
清空文件里的已有内容，修改为：
BI02
BI03
5.4 配置BI02为backup master
Configure HBase to use node-b as a backup master. Create a new file in conf/ of BI02 called backup-masters, and add a new line to it with the hostname for node-b.
在BI02服务器上，/home/bdp/opt/hbase-1.2.6/conf/目录下创建backup-masters文件，内容如下所示：
[bdp@BI02 conf]$ cat backup-masters
BI02
[bdp@BI02 conf]$
5.5 先确保ZooKeeper已经启动，再启动HBase
6.1 安装按照官方文档进行
6.2.配置和启动Hadoop history server
6.3 修改必要的hdfs上面的文件夹的权限
6.4 可考虑修改配置文件：kylin_hive_conf.xml，禁用hive的本地mapred任务。这是因为hive的本地任务，文件大小和个数满足一个条件就会启用，因此一两个大表会导致本地模式内存溢出
Kylin的安装比较简单，但是在Cube的创建上会碰到很多问题，更多更新可以移步到 http://shuquaner.com/ 保持关注:)
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有