CDH离线安装

一、相关包的下载地址 Cloudera Manager下载地址&＃xff1a; http://archive.cloudera.com/cm5/cm/5/ 或者 http://archive.cloudera.com/cm5/repo-as-tarball/ 下载信息&＃xff1a; http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html#cmvdtopic1

CDH安装包地址&＃xff1a;http://archive.cloudera.com/cdh5/parcels/latest/&＃xff0c;由于我们的操作系统为CentOS6.5&＃xff0c;需要下载以下文件&＃xff1a; CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha manifest.json 二、环境配置 只安装基础服务&＃xff0c;节点准备&＃xff1a; cdh-node1 主节点内存大于4G---->5.5G cdh-node2 大于2G---->2.5G cdh-node3 大于2G---->2.5G 1、配置jdk 、主节点ssh到所有节点、防火墙、selinux、ntp服务 2、安装配置MySql&＃xff08;主节点&＃xff09; 安装&＃xff1a;yum install mysql-server -y 设置开机启动&＃xff1a;chkconfig mysqld on 启动&＃xff1a;service mysqld start 设置root的初试密码&＃xff1a;mysqladmin -u root password &＃39;hive&＃39; 进入mysql&＃xff1a;mysql -uroot -p 创建数据库&＃xff1a;

create database hive DEFAULT CHARSET utf8 COLLATE utf8generalci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8generalci;

grant all privileges on . to &＃39;root&＃39;&＃64;&＃39;cdh-node1&＃39; identified by &＃39;hive&＃39; with grant option; flush privileges; 三、安装Cloudera Manager Server 和Agent 1、上传 cloudera-manager安装包&＃xff0c;解压到/opt目录下tar xzvf cloudera-manager*.tar.gz -C /opt&＃xff0c;得到cm-5.1.3和cloudera目录 2、为Cloudera Manager 5建立数据库 将mysql-connector-java-5.1.32.jar&＃xff0c;放到/opt/cm-5.1.3/share/cmf/lib/ 3、主节点初始化CM5的数据库&＃xff1a; /opt/cm-5.1.3/share/cmf/schema/scmpreparedatabase.sh mysql cm -hlocalhost -uroot -phive --scm-host localhost scm scm scm 出现All done, your SCM database is configured correctly!配置成功 4、Agent配置 修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的serverhost为主节点的主机名&＃xff1a; vi cm-5.1.3/etc/cloudera-scm-agent/config.ini --->serverhost&＃61;cdh-node1 同步Agent到其他节点 scp -r /opt/cm-5.1.3 root&＃64;cdh-node2:/opt/ scp -r /opt/cm-5.1.3 root&＃64;cdh-node3:/opt/ 所有节点创建cloudera-scm用户 useradd --system --home&＃61;/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell&＃61;/bin/false --comment "Cloudera SCM User" cloudera-scm 5、准备Parcels 将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中&＃xff08;如果没有parcel-repo需要手动创建&＃xff09; 相关的文件如下&＃xff1a; CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 manifest.json 将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1&＃xff0c;重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha 6、启动脚本 启动服务端&＃xff1a;/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start 启动Agent服务&＃xff1a;/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start

7、浏览器访问主节点 http://192.168.204.131:7180 用户名&＃xff1a;密码默认是admin:admin

继续&＃xff0c;全选继续

本地Parcel包配置无误&＃xff0c;最新版是5.14.2,但是我只下载了5.1.3&＃xff0c;所以选择5.1.3&＃xff0c;否则会在线下载会很慢&＃xff0c;继续

因为是本地Parcel包&＃xff0c;所以第一条绿杠瞬间完成&＃xff0c;分配过程取决于内网网速&＃xff0c;耐心等待几分钟&＃xff0c;等全部完成后继续遇到这个问题的解决办法是echo 0 > /proc/sys/vm/swappiness&＃xff0c;然后重新运行

选择安装的服务一般按默认即可&＃xff0c;继续数据库的设置&＃xff0c;检查通过后继续

集群设置的审查&＃xff0c;继续

安装Hive的时候可能会报错&＃xff0c;因为使用了MySql作为hive的元数据存储&＃xff0c;hive默认没有带mysql的驱动

解决方法拷贝一个到hive路径 然后重试&＃xff1a;

cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.32.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/