CDH5.7爬坑/centos6.6/centos7.0--自我总结

CDH安装文档

安装步骤参考

https://www.cnblogs.com/fujiangong/p/5620050.html

安装中问题点：

首先看centos版本再去找对应的CDH包   el6/el7等

源码安装Mysql流程：

参考文档: 

https://www.cnblogs.com/galengao/p/5755788.html

https://blog.csdn.net/beyondlpf/article/details/6996104

1. 源码包需求 将源码包加入到/usr/local/package下

源码包下载链接：

https://pan.baidu.com/s/1bBfG6z9TlErw5y58eGe8Hw 

密码：wlld

cmake-3.5.0.tar.gz

mysql-5.7.17.tar.gz

boost_1_59_0.tar.gz

2. yum安装依赖包   蓝色为一条命令 注意空格格式

yum -y install gcc gcc-c++ make cmake ncurses ncurses-devel man ncurses libxml2 libxml2-devel openssl-devel bison bison-devel

3. 解压boost, 5.7需要boost

cd /usr/local/package/

tar zxvf boost_1_59_0.tar.gz

mv boost_1_59_0 ../

4. 解压cmake, 并安装

cd /usr/local/package/

tar -zxvf cmake-3.5.0.tar.gz && cd cmake-3.5.0/

./configure --prefix=/usr/local/cmake

gmake && make install

5. 使用cmake编译安装mysql

cd /usr/local/package/

tar -zxvf mysql-5.7.17.tar.gz && cd mysql-5.7.17/

/usr/local/cmake/bin/cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DWITH_BOOST=/usr/local/boost_1_59_0 -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci

make && make install

#配置mysql

cp /etc/my.cnf /etc/my.cnf.bak

rm -rf /etc/my.cnf

#mysql初始化

cd /usr/local/mysql

chown -R mysql .

chgrp -R mysql .

cd mysql/

#创建数据目录

mkdir -p /usr/local/mysql/data/

bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

bin/mysql_ssl_rsa_setup  --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

chown -R root .

chown -R mysql data/

#复制配置文件

cp support-files/my-default.cnf /etc/my.cnf

#使用service管理

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

#将mysql目录加入到环境变量

vi /etc/profile 

# 在profile文件末尾增加两行 

PATH=/usr/local/mysql/bin:/usr/local/mysql/lib:$PATH 

export PATH 

# 使PATH搜索路径立即生效：

source /etc/profile

#修改配置文件

vi /etc/my.cnf

#修改第19行(取消注释且修改为)   datadir = /data/mysql/data/

service mysqld start

ps aux | grep mysqld

mysql -uroot -p

 #如果启动mysqld服务报错   首先看data目录下是否有库正常如下

如果没有 删除data目录重新执行 以下命令

#创建数据目录   

mkdir -p /usr/local/mysql/data/

bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

bin/mysql_ssl_rsa_setup  --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

chown -R root .

chown -R mysql data/

进入mysql 第一次密码为空 直接 mysql -uroot -p 回车 回车

mysql-connector-java-5.1.18.jar 不能用6.0的 因为6.0的跟jdk1.7不兼容  cdh用jdk1.7又比较稳定 所以 用mysql-connect jar 最后选的5.1.18

 

数据库服务起不来 报Mysql缺少socket这个错  

要注意etc/my.cnf 文件  可以把其他节点 该文件scp过来

然后要是仍然报错  找不到mysql.sock  centos7的话就在缺少路径建立一个软连接就解决了 

ln -s  我们mysql.sock    缺少报错路径

若仍报PID错误去看报错日志 如果说已存在mysql服务：去/tmp 下把之前的mysql.sock删掉 然后启动mysqld服务

/etc/my.cnf 文件如下配置--在[mysqld]下加以下几条

 

/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p1234.com --scm-host localhost scm scm scm

会提示密码不正确  

进入mysql 查找密码/修改密码

mysql -uroot -p 回车 输入密码；

select username,password from mysql.user

发现没有password列  mysql版本不一样导致

 

给集群安装之前再次确认ntp是否成功（用date查看时间是否一致），以及防火墙端口是否有添加例外;NTP和防火墙是集群安装最常见的两个问题；如果集群安装或启动报错请优先检查这两个。

ssh配置时 一定要确保成功 要不页面配置自动下载时会一直报异常  

ssh免密  1to2 1to3  2to3  3to2   2unto1 3unto1 这样就行

CRT上传文件(ALT+P) 到节点  出现上传拒绝访问情况   

只能先上传到跳板机 在SCP 发送文件到节点 

上传下载文件从linux  用rz sz 若没有 

先安装yum -y install lrzsz

sohu的yum源   这个资源库可以 找了其他的库都404

wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo
更新完yum源后，建议更新一下，使操作立即生效

yum makecache

yum不支持并发执行多个安装  若有多个执行先手动杀掉 其他的

在线安装由于网络下载超时导致安装失败  

这时可以 到主机上ps -ef | grep yum 看在下载什么组件 然后可以通过资源库地址,找到对应的rpm包，直接用高网速的环境下载，然后传给指定节点，这样能节省时间。

我用的环境是[downloaduser@logv03 ~]$ 进行高速下载

资源库地址 http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.7.0/

http://archive.cloudera.com/cdh5/sles/11/x86_64/cdh/5.7.6/RPMS/noarch/ 

然后通过 

[root@jqdigit03~]#

将文件下载到指定节点 -p指定输出目录

Wget  -P  /root/    

ftp://120.27.27.83/boost_1_59_0.tar.gz --ftp-user=downloaduser --ftp-password='Dt%6Yu7*ir' -r  

拷JAR到其他节点时注意

此时需要对agent目录下的uuid进行删除  然后启动agent服务就会生成一个新的uuid 否则都是一个uuid 这样在CM管理界面中找不到对应的主机节点 或者会发生刷新一次一个新节点  所有节点不会都显示出来

/opt/cm-5.7.0/lib/cloudera-scm-agent   该路径下的uuid文件

当服务都起来了  之后仍然打不开CM管理页面   这时需要

连接公司VPN才可访问web

cloudera-scm-server start

CM管理页面的服务可以在集群安装后再按需添加 

当页面如CPU，网络，磁盘 等小窗口都是获取数据失败时   

页面显示报错  无法发出查询 host Monitor未运行 

此时添加并开启 cloudera manager service 进行配置  

配置后重进页面  状态恢复正常

如果启动hdfs-namenode失败 看日志如果是权限问题则

chown hdfs:root -R /dfs/nn/*  

如果运行后某台机子出现配置错误  出现未检测到JDK等  需要去主机上确认 然后重启agent服务刷新页面 问题解决

如果启动cloudera manager service  添加角色启动失败  

则看日志 若是因为权限不够，则去主机上进行授权

检测下其他用户是否真的有权限去访问 /root文件夹

如在uar用户下  ll /root   访问被拒绝 则权限不够

需要切到root用户下 进行chmod 755 /root 

如果传文件夹中出现某个文件权限不够被拒绝的情况

则需现在root用户下 对其进行chmod -R 777 文件夹

这样该文件夹具有了全权限 

 重启页面后，如下图所示，证明配置成功