作者:陈政德169384 | 来源:互联网 | 2024-11-30 10:39
本文详细介绍了如何通过Web界面快速安装CDH(ClouderaDistributionIncludingApacheHadoop),包括环境准备、步骤详解及常见问题解决方法。
前言:本文旨在帮助读者了解并通过Web界面完成CDH的快速安装过程。适合对Hadoop生态系统有一定了解的技术人员阅读。
CDH Web安装步骤
访问Web界面
通过浏览器访问 http://:7180,使用默认用户名和密码登录:
username: admin
password: admin
首次登录会看到欢迎界面,点击继续进入下一步。
集群基本信息设置
为集群命名,并点击继续。
指定主机
输入集群所有节点的IP地址,例如 172.20.3.[134-136],点击搜索确保所有主机已被正确识别,然后继续。
选择存储库
根据需要选择合适的CDH版本存储库,通常建议使用最新稳定版。
JDK安装选项
若已预先安装Java JDK,则可跳过此步骤直接继续。
提供SSH凭证
为了能够远程管理集群中的各节点,需要提供SSH密钥或统一的登录密码。推荐使用root用户进行操作。
安装代理
等待各节点上的Cloudera Manager Agent安装完成,如遇失败需检查相关环境配置。
安装Parcels
Parcels是CDH的一种分发方式,等待其下载并激活完成后继续。
集群安装
在此阶段可能会遇到一些预检查错误,如内存交换设置不当等,需按提示修正后重试。
示例错误及解决方案:
- 将 /proc/sys/vm/swappiness 设置为10。
- 禁用透明大页面压缩,以避免性能问题。
自定义角色分配
CDH会基于集群规模自动分配服务角色,可根据实际需求调整。
数据库配置
安装HIVE时需配置相应的数据库连接信息,注意添加必要的JDBC驱动程序。
审查与确认
最后一步是对所有设置进行最终审查,确认无误后开始正式安装流程。
常见问题处理
1. 目录非空导致格式化失败:清空指定目录后重试。
2. 数据库无法创建表:检查IP地址是否正确填写。
3. 缺少JDBC驱动:确保驱动文件已放置于正确路径,并检查JDK安装情况。