HDP2.3.2升级到HDP2.3.4

HDP2.3.2升级到HDP2.3.4

先介绍下&＃xff0c;本集群 BigData 现在的环境是ambari2.1.2&＃xff0c;hdp2.3.2&＃xff0c;目标是不升级ambari&＃xff0c;而升级HDP。本集群有三台机器&＃xff1a;master、slave1、slave2,都是运行在centos6.7下的。本文是根据官方文档 HDP2.3.2版本下的Ambari Upgrade Guide 而写的.
之所以写本文&＃xff0c;一方面是想把自己的经验分享给大家&＃xff0c;另一方面也是有问题请教大家。因为升级到最后&＃xff0c;集群中的一台机器slave1总是处在 upgrading状态&＃xff0c;而集群中的master 和slave2 却升级成功&＃xff0c;显示 upgraded状态。

提示&＃xff1a;通过ambari集群管理的HDP的升级一定要参考Ambari Upgrade Guide &＃xff0c;而不是Non-Ambari Cluster Upgrade Guide.

1版本对应

1.1 HDP-Ambari-Spark版本对应

1.2 HDP2.3.4 的组件版本

1.3 spark1.5.2在hdp运行条件

因为主要是想用spark1.5&＃xff0c;所以才升级hdp的。

运行Spark 1.5.2的前提条件&＃xff1a; HDP版本在2.3.4及以上。

注意&＃xff1a;HDP升级到2.3.4以后&＃xff0c;spark自动升级到了1.5.2 。
先升级ambari到2.2&＃xff0c;再升级HDP到2.3.4&＃xff0c;也可以直接用amabri2.1&＃xff0c;升级hdp到2.3.4。这几种方法我都试过&＃xff0c;但是升级ambari过程中&＃xff0c;在进行这步——Ambari Server database schema 时&＃xff0c;执行了语句ambari-server upgrade 就会出错&＃xff0c;关于升级ambari的文档&＃xff0c;以后有空了再写。

2准备

注意&＃xff1a;
1. 确保集群操作是健壮的&＃xff0c;即各项服务是可以正常启动、停止的。
2. 如果是升级到minor version(如hdp2.2->2.3,而非2.3.2->2.3.4)&＃xff0c;升级hdp集群前&＃xff0c;先把ambari升级到对应的版本。强烈建议升级HDP前&＃xff0c;先升级ambari。见图1-1。本文档没有升级amabri。
3. 确保所有服务处在running状态&＃xff1b;
4. 服务检查&＃xff0c;对service action菜单里的选项试试&＃xff0c;确保他们能够正常执行&＃xff1b;
5. 清除所有警告&＃xff1b;
6. 时间服务启动、停止&＃xff1b;
7. 下载必要的包&＃xff0c;见表2-1&＃xff0c;使用本地库的话&＃xff0c;见说明&＃xff1b;
8. 如果你是在升级 到Ambari 2.2, 在performing any Stack upgrade之前&＃xff0c;必须确保Ranger db root password是非空的。给Ranger db root设置一个密码&＃xff0c;然后在Ambari Web 上设置Ranger db root password设为这个值. 然后&＃xff0c;在Ambari Web重启Ranger Admin。
9. 备份数据库&＃xff0c;ambari&＃xff0c;Hive metastore, ranger 和oozie。
10. 确保/usr/hdp/下有>2.5G空间&＃xff1b;
11. 提前下载好软件包. 设好本地库。
12. 确保时间点数据库备份&＃xff0c;包括Ambari, Hive Metastore, Ranger and Oozie等。

2.1 检查service action 的start 、stop、run service check

2.2启动所有服务并清除警告

2.3 保证没有maintenance状态的服务

2.4 时间服务ntpd启动、停止

在三台机器上&＃xff0c;都执行&＃xff1a;

service ntpd status
service ntpd stop
service ntpd start

2.5备份数据库

[root&＃64;master ~]#mysqldump -uroot -p --all-databases > /root/backupforhdp/all20160117.sql

2.6本地库配置

2.6.1 下载需要的包

提前下好HDP-2.3.4.0-centos6-rpm.tar.gz 和HDP-UTILS-1.1.0.20-centos6.tar.gz。

所有库的最新有效地址 &＃xff0c;是在网页上的。下载后的pdf里的地址不能下载。

2.6.2 拷贝hdp的升级包到指定位置

将HDP-2.3.4.0-centos6-rpm.tar.gz
拷到 /var/www/html/hdp/HDP/centos6/2.x/updates
下&＃xff0c;解压,将解压后的 HDP/centos6/2.x/updates/2.3.4.0/
整个包拷到/var/www/html/hdp/HDP/centos6/2.x/updates/ 下&＃xff0c;如图。

2.6.3 拷贝 hdp-utils包

将之前的hdp-utils包剪切到 /root/backupforhdp/下&＃xff0c;解压新的 hdp-utils包。
注意&＃xff1a;2.3.4 的 utils包 和2.3.2 以前用的那个的不同之处在于&＃xff0c;
①/var/www/html/hdp/HDP-UTILS-1.1.0.20/repos/centos6/lucid 下一个是 lucidworks-hdpsearch-2.3-2.noarch.rpm 一个是lucidworks-hdpsearch-2.3-4.noarch.rpm
②/var/www/html/hdp/HDP-UTILS-1.1.0.20/repos/centos6/mysql-connector-java 下&＃xff0c;前者只有一个包&＃xff0c;后者多了一个包。
③ /var/www/html/hdp/HDP-UTILS-1.1.0.20/repos/centos6/repodata 下内容不同。

2.6.4 base URL

2.6.5 对配置多个库的集群要执行

(这是参考的”设置本地库”)因为本集群&＃xff0c;机器上 配置了多个库&＃xff0c;要在所有节点上部署下列&＃xff0c;对Linux6系统&＃xff0c;

yum install yum-plugin-priorities

然后&＃xff0c;

vi /etc/yum/pluginconf.d/priorities.conf

将其内容做如下修改&＃xff1a;

[main]
enabled&＃61;1
gpgcheck&＃61;0

3准备升级

强烈建议做如下数据库的备份&＃xff1a;
• Ambari database
• Hive Metastore database
• Oozie Server database
• Ranger Admin database
• Ranger Audit database

我们在 2.5 已经备份了。

4升级——Manual Maintenance Upgrade

4.1 注册新版本

在这之前&＃xff0c;先把所有机器上的HDP.repo 和HDP-UTILS.repo 删了。
在三台机器上&＃xff0c;先备份到 /root/backupforhdp&＃xff0c;再删除原来的repo&＃xff1a;

cp /etc/yum.repos.d/HDP.repo /root/backupforhdp/
cp /etc/yum.repos.d/HDP-UTILS.repo /root/backupforhdp/
rm /etc/yum.repos.d/HDP.repo
rm /etc/yum.repos.d/HDP-UTILS.repo

登录amabri&＃xff0c;在ambari web 页面&＃xff0c;导航栏里 Admin->Stack and Versions,按tab选项卡&＃xff0c;选versions&＃xff0c;出现如图&＃xff0c;单击右上角 &＃43;Register Version

根据你的系统&＃xff0c;选择对应的系统、填入base url.

该图片的URL就是我们前边的 base url 。

4.2 安装新版本

4.2.1 在集群上安装包

Install packages 这步等待时间较长&＃xff0c;10-20分钟。完成后&＃xff0c;如图&＃xff0c;注意&＃xff1a;不要点 perform。

4.2.2 在三台机器上安装完后&＃xff0c;出现&＃xff1a;

记住—— 2.3.4.0-3485

4.2.3 选定HDP版本

在ambari web页面&＃xff0c;Stop all services 。
然后&＃xff0c;在三台机器上执行&＃xff0c;hdp-select set all {repository-version},其中{repository-version}就是刚刚记住的 2.3.4.0-3485。

hdp-select set all 2.3.4.0-3485

4.2.4 首先启动 Zookeeper

Services > Zookeeper, 在Service Actions 菜单 &＃xff0c;选择 Restart All。
然后&＃xff0c;一个一个地&＃xff0c;重启其他已安装服务。
对于 client-only services, 比如像Tez, Pig, or Sqoop, 从service action选择 Refresh Configs。
重启的过程中&＃xff0c;三台机器就已经在 upgrading 状态了。

4.2.5 让集群在目标版本上运行

1. 如果你的集群中包括Ranger,而且是在HDP2.3下运行&＃xff0c;必须做额外的手动操作&＃xff0c; 详情见 &＃xff0c;完成了ranger的手动操作后&＃xff0c;再回到这部分完成进程。
2. 确认所有服务正常启动后&＃xff0c;去运行 Ambari Server的机器上&＃xff0c;执行以下命令来 完成升级&＃xff0c;ambari-server set-current –cluster-name&＃61;CLUSTERNAME−−version−display−name&＃61; VERSION_NAME&＃xff0c;其中CLUSTERNAME是集群名字&＃xff0c; VERSION_NAME 是HDP版本号&＃xff0c;如HDP-2.3.4.0。

ambari-server set-current --cluster-name&＃61;BigData --version-display-name&＃61;HDP-2.3.4.0

结果如图&＃xff0c;输入ambari 的登录用户及密码&＃xff0c;

但是出错了&＃xff0c;

原因是slave1还没有完成升级&＃xff0c;是 Upgrading 状态。
但是其他两台机器已经升级完成&＃xff0c;如图&＃xff0c;

如果 ambari-server set-current 命令不好用&＃xff0c;就重启ambari server &＃xff0c;等待ambari agent重新注册&＃xff0c;再尝试。

问题

可以看到如图&＃xff0c;Upgrade In Process&＃xff0c;现在只能等待 slave1完成升级&＃xff0c;由Upgrading 变成Upgraded。但是等了一个晚上都没完成。
查看ambari web页面&＃xff0c;没有任何正在进行中的状态。
表示很无奈&＃xff0c;也不知道怎么回事。
哪位大侠能帮忙看看呢&＃xff1f;

升级HDP&＃xff0c;由HDP2.2.x 到HDP2.3.m&＃xff0c;如 HDP2.2.9 到 HDP2.3.4&＃xff0c; 这是minor upgrade&＃xff0c;由HDP2.3.x 升级到HDP2.3.y &＃xff0c;如本文的HDP2.3.2 到HDP2.3.4&＃xff0c;是maintenance upgrade。

5总结

我总结了有6方法。对这六种方法我都试过&＃xff0c;文档已写出来&＃xff0c;暂时没有时间整理上来。

1. 先升级ambari到2.2&＃xff0c;通过rolling方法升级HDP2.3.4
2. 先升级ambari到2.2&＃xff0c;通过express方法升级到HDP2.3.4
3. 不升级ambari&＃xff0c;保持在ambari2.1.2&＃xff0c;通过rolling方法升级到HDP2.3.4
4. 不升级ambari&＃xff0c;保持在ambari2.1.2&＃xff0c;通过express方法方法升级到HDP2.3.4
5. 不升级ambari&＃xff0c;保持在ambari2.1.2&＃xff0c;通过rolling maintenance 方法升级到HDP2.3.4
6. 不升级ambari&＃xff0c;保持在ambari2.1.2&＃xff0c;通过manual maintenance 方法升级到HDP2.3.4

前四种方法参考的是 HDP2.3.4的文档——Ambari Upgrade Guide
后两种方法参考的是 HDP2.3.2的文档——Ambari Upgrade Guide
本人可能经验不足&＃xff0c;希望前辈多多指教&＃xff01;基于实际操作过程中&＃xff0c;最后遇到的问题&＃xff0c;slave1 总是处于upgrading状态。希望大家能够多出出主意。

另&＃xff0c;如有转载&＃xff0c;请标明出处&＃xff0c;谢谢。