cloudhadoop6.2.0的搭建说明

作者：莪乜子12 | 来源：互联网 | 2023-09-09 18:27

这里写目录标题概要1.cloudhadoop获取2.jdk（master结点）1）卸载2）安装3.mysql（

这里写目录标题

概要
1.cloud hadoop获取
2.jdk&＃xff08;master结点&＃xff09;
- 1&＃xff09;卸载
- 2&＃xff09;安装
3.mysql&＃xff08;&＃61;&＃61;我弃用此方案&＃xff0c;原文在下&＃xff0c;我采用之后的方式&＃xff0c;虽然简单但我看不懂&＃61;&＃61;&＃xff09;
- - 1&＃xff09;在主服务器检查并卸载系统自动安装的Mysql版本
  - 2&＃xff09;采用yum源方式安装Mysql5.6(放弃&＃xff0c;不要用)
  - 3&＃xff09;安装成功后&＃xff0c;启动并初始化
4.服务器配置
- 1.主机名
- 2.防火墙
- 3.selinux
- 4.SSH免密登录
- 5.禁用设置、基础服务设置
- - 1&＃xff09;禁用IPv6
  - 2&＃xff09;禁用“透明大页面”
  - 3&＃xff09;交换分区设置
  - 4&＃xff09;安装相关依赖组件&＃xff0c;设置http、ntp服务
  - 5&＃xff09;启动httpd服务
  - 6&＃xff09;.时间同步
  - - ①主服务器
    - ②其他服务器
5.安装Mysql
- 主节点
6.hadoop安装
- 1.配置本地yum云(需要httpd)
- - 更新yum源yum-utils
  - 将下载好的资源添加进/var/www/html/cm/&＃xff08;参考cm&＃43;cdh安装&＃xff09;
  - 创建本地repo文件
  - 更新yum源
  - 验证
  - 将本地yum文件分发至从节点
  - 安装JDK(所有子节点)
- 2. 通过yum安装daemons,agent,server
- - 主节点
  - 从结点
  - 上传cloudera-manager-installer.bin到主节点,赋予权限
- 3.配置本地Parcel存储库
- - 将CDH上传到指定文件夹
  - 校验文件是否下载完全
  - 执行安装
- 网络
参考

概要

Cloude Manager概述&＃xff1a;
CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。
Cloudera Manager分为&＃xff1a;
Cloudera Manager Server&＃xff1a;对整个集群提供监控与管理操作。Cloudera Manager Server通过部署在不同设备上的Cloudera Manager Agent进行管理整体集群。Cloudera Manager Server需要部署在一台设备上。
Cloudera Manager Agent&＃xff1a;部署在每个需要监控与管理的设备上。负责采集运行数据与执行下发的管理命令。
DataBase&＃xff1a;关系型数据库是Cloudera Manager执行管理操作时&＃xff0c;存储整体集群情况数据。

1.cloud hadoop获取

CM、CD版本为6.2.0

CM百度网盘地址&＃xff1a;https://pan.baidu.com/s/1W2urUqeOPE4_cJP-IVXxGw 提取码&＃xff1a;r1h8

可查看其他配套相关版本要求

在这里插入图片描述

2.jdk&＃xff08;master结点&＃xff09;

https://www.oracle.com/java/technologies/downloads/#java8
官网下载地址

1&＃xff09;卸载

rpm -qa|grep java #查询目前已装的JDK rpm -e --nodeps #后面跟上一条命令查找出来的所有包&＃xff0c;用空格隔开 #卸载相应的JDK 或 yum remove java* # 卸载

2&＃xff09;安装

mkdir /usr/javatar -zxvf jdk-8u321-linux-x64.tar.gzvi /etc/profile #添加如下内容&＃xff1a;JAVA_HOME&＃61;/usr/java/jdk1.8.0_321 CLASSPATH&＃61;$JAVA_HOME/lib/ PATH&＃61;$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATHsource /etc/profile #使文件生效
3.mysql&＃xff08;我弃用此方案&＃xff0c;原文在下&＃xff0c;我采用之后的方式&＃xff0c;虽然简单但我看不懂&＃xff09;

可忽略此网址
https://dev.mysql.com/downloads/connector/j/
安装指南https://blog.csdn.net/weixin_31240035/article/details/112280003
mysql部分
此文的yum安装流畅快速简洁方便

安装MySQL&＃xff08;MySQL只需要在主服务器上安装&＃xff09;

【注&＃xff1a;关于mysql版本问题&＃xff0c;笔者安装的mysql5.6&＃xff0c;安装过程中以及后面cloudera连接数据库&＃xff0c;创建数据库时均未出现问题。】

1&＃xff09;在主服务器检查并卸载系统自动安装的Mysql版本

rpm -qa | grep mysql rpm -qa | grep mariadb rpm -e --nodeps #后面跟上面2条命令查询到的所有包&＃xff0c;包之间用空格键隔开

2&＃xff09;采用yum源方式安装Mysql5.6(放弃&＃xff0c;不要用)

wget http://repo.mysql.com/mysql57-community-release-el6-8.noarch.rpm #下载yum源文件rpm -Uvh mysql57-community-release-el6-8.noarch.rpm#修改yum源文件&＃xff1a;vim /etc/yum.repos.d/mysql-community.repo[mysql56-community]enabled&＃61;1gpgcheck&＃61;1[mysql57-community]enabled&＃61;0gpgcheck&＃61;1vim /etc/yum.repos.d/mysql-community-source.repo[mysql56-community-source]enabled&＃61;1 gpgcheck&＃61;1[mysql-tools-preview-source]name&＃61;MySQL Tools Preview - Sourcebaseurl&＃61;http://repo.mysql.com/yum/mysql-tools-preview/el/6/SRPMSenabled&＃61;1 gpgcheck&＃61;1

yum repolist all | grep mysql #用yum repolist mysql这个命令查看一下是否已经有mysql可安装文件yum -y install mysql-community-server #yum安装mysql, 一直yes下去

3&＃xff09;安装成功后&＃xff0c;启动并初始化

service mysqld start service mysqld status

mysql刚安装完&＃xff0c;mysql的root用户的密码默认是空的&＃xff0c;需要给root用户设置密码密码&＃xff0c;执行下列命令进行安全设置

mysql_secure_installation #输入当前用户&＃xff1a;回车&＃xff0c;输入root密码&＃xff1a;######

在这里插入图片描述

mysql -uroot -p #进入MySQL数据库create database amon DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; create database rman DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; create database metastore DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; create database sentry DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; create database nav DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; create database navms DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; grant all on *.* to &＃39;root&＃39;&＃64;&＃39;%&＃39; identified by &＃39;*****&＃39; with grant option;
4.服务器配置

1.主机名

master

hostnamectl set-hostname node0vim /etc/hosts 10.0.1.71 node1 10.0.1.72 node2 10.0.1.73 node3

agent1,2,3

hostnamectl set-hostname node1 略 hostnamectl set-hostname node2 hostnamectl set-hostname node3

2.防火墙

在这里插入代码片

3.selinux

sed -i "s|SELINUX&＃61;enforcing|SELINUX&＃61;disabled|g" /etc/selinux/config setenforce 0

4.SSH免密登录

ssh-keygen ssh-copy-id ns1 #ns1为主机名 ssh-copy-id ns2 ssh-copy-id ns3

5.禁用设置、基础服务设置

1&＃xff09;禁用IPv6

【注&＃xff1a;CDH 要求使用 IPv4&＃xff0c;不支持IPv6&＃xff0c;如不禁用&＃xff0c;通信可能产生问题&＃xff0c;进而各个进程可能挂掉&＃xff0c;以及出现超时等问题】

echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

2&＃xff09;禁用“透明大页面”

【注&＃xff1a;安装完CDH后&＃xff0c;CDH Manager一般会提示用户需要做一些Linux系统层面的优化&＃xff0c;主要包括两类&＃xff1a;禁止透明大页面及交换分区设置。若启用“透明大页面”&＃xff0c;可能会导致重大的性能问题。】

echo never > /sys/kernel/mm/transparent_hugepage/defragecho &＃39;echo never > /sys/kernel/mm/transparent_hugepage/defrag&＃39; >> /etc/rc.local

3&＃xff09;交换分区设置

【注&＃xff1a;Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0&＃xff0c;修改swap空间的swappiness&＃xff0c;降低对硬盘的缓存。】

sysctl vm.swappiness&＃61;0 #修改swappiness值为0 cat /proc/sys/vm/swappiness #验证vi /etc/sysctl.conf #为保证重启有效&＃xff0c;在文件中添加下面一行 vm.swappiness&＃61;0

4&＃xff09;安装相关依赖组件&＃xff0c;设置http、ntp服务

yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb httpd httpd-tools unzip ntp

5&＃xff09;启动httpd服务

systemctl start httpd.service systemctl enable httpd.service #设置为开机启动

6&＃xff09;.时间同步

启动NTP服务&＃xff0c;设置三台机器时间同步

systemctl restart ntpd systemctl enable ntpd.service #设置为开机启动

【注&＃xff1a;http服务开机自启动有效&＃xff0c;但ntp服务开机自启动无效&＃xff0c;所以重新开机可能需要手动开启ntp服务。出现这个问题的原因可能是服务chronyd未被禁用&＃xff0c;导致ntp即使配置了也无法实现开机启动&＃xff0c;但笔者尝试了这种方法&＃xff0c;还是没有生效&＃xff0c;这个问题待解决。】

①主服务器

在主机ns1上修改本地硬件时钟时间&＃xff1a; hwclock --localtime #查看本地硬件时钟时间 hwclock --localtime -w #将系统时间写入本地硬件时钟时间vim /etc/ntp.conf

在文件中找到这一行,放开restrict的注释,并且修改ip地址&＃xff1a;

# Hosts on local network are less restricted. restrict 10.0.1.0 mask 255.255.255.0 nomodify notrap

找到这一行,注释下面的server&＃xff1a;

# Please consider joining the pool (http://www.pool.ntp.org/join.html). #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst

添加下面两行&＃xff1a;

server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10

②其他服务器

&＃xff08;1&＃xff09;关闭所有节点上 ntp 服务和自启动

systemctl stop ntpd
[node1 ~]$ sudo systemctl disable ntpd
[node2 ~]$ sudo systemctl stop ntpd
[node3 ~]$ sudo systemctl disable ntpd
&＃xff08;2&＃xff09;在其他机器配置 1 分钟与时间服务器同步一次

[all ~]$ sudo crontab -e 编写定时任务如下&＃xff1a; */1 * * * * /usr/sbin/ntpdate 10.0.1.70

&＃xff08;3&＃xff09;修改任意机器时间

[leokadia&＃64;hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

&＃xff08;4&＃xff09;1 分钟后查看机器是否与时间服务器同步

date
5.安装Mysql

Mysql 下载地址&＃xff1a;https://pan.baidu.com/s/1oaWnAi9J2swKnViAnF0cKQ 提取码&＃xff1a;164h

此处先把mysql-connector-java-5.1.47.jar传到每台服务器的/usr/share/java&＃xff08;如果目录不存在需要先创建&＃xff09;目录下&＃xff0c;并更名为mysql-connector-java.jar&＃xff0c;如果不更名后面会报错

主节点

把mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz解压到/usr/local目录下并改名为mysql

输入tar -zxvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz -C /usr/local/mysql回车解压&＃xff08;注意-C需要大写&＃xff09;

创建归档&＃xff0c;数据&＃xff0c;临时文件夹,创建用户&＃xff0c;赋予权限

mkdir mysql/arch mysql/data mysql/tmp useradd mysql chown -R mysql.mysql /usr/local/mysql yum -y install perl perl-devel

修改

vim /etc/my.cnf

[client] port&＃61;3306 socket&＃61;/usr/local/mysql/data/mysql.sock default-character-set&＃61;utf8mb4 [mysqld] port&＃61;3306 socket&＃61;/usr/local/mysql/data/mysql.sock skip-slave-start skip-external-locking key_buffer_size&＃61;256M sort_buffer_size&＃61;2M read_buffer_size&＃61;2M read_rnd_buffer_size&＃61;4M query_cache_size&＃61;32M max_allowed_packet&＃61;16M myisam_sort_buffer_size&＃61;128M tmp_table_size&＃61;32M table_open_cache&＃61;512 thread_cache_size&＃61;8 wait_timeout&＃61;86400 interactive_timeout&＃61;86400 max_connections&＃61;600 # Try number of CPU&＃39;s*2 for thread_concurrency #thread_concurrency&＃61;32 #isolation level and default engine default-storage-engine&＃61;INNODB transaction-isolation&＃61;READ-COMMITTED server-id&＃61;1739 basedir&＃61;/usr/local/mysql datadir&＃61;/usr/local/mysql/data pid-file&＃61;/usr/local/mysql/data/hostname.pid #open performance schema log-warnings sysdate-is-now binlog_format&＃61;ROW log_bin_trust_function_creators&＃61;1 log-error&＃61;/usr/local/mysql/data/hostname.err log-bin&＃61;/usr/local/mysql/arch/mysql-bin expire_logs_days&＃61;7 innodb_write_io_threads&＃61;16 relay-log&＃61;/usr/local/mysql/relay_log/relay-log relay-log-index&＃61;/usr/local/mysql/relay_log/relay-log.index relay_log_info_file&＃61;/usr/local/mysql/relay_log/relay-log.info log_slave_updates&＃61;1 gtid_mode&＃61;OFF enforce_gtid_consistency&＃61;OFF # slave slave-parallel-type&＃61;LOGICAL_CLOCK slave-parallel-workers&＃61;4 master_info_repository&＃61;TABLE relay_log_info_repository&＃61;TABLE relay_log_recovery&＃61;ON #other logs #general_log&＃61;1 #general_log_file&＃61;/usr/local/mysql/data/general_log.err #slow_query_log&＃61;1 #slow_query_log_file&＃61;/usr/local/mysql/data/slow_log.err #for replication slave sync_binlog&＃61;500 #for innodb options innodb_data_home_dir&＃61;/usr/local/mysql/data/ innodb_data_file_path&＃61;ibdata1:1G;ibdata2:1G:autoextend innodb_log_group_home_dir&＃61;/usr/local/mysql/arch innodb_log_files_in_group&＃61;4 innodb_log_file_size&＃61;1G innodb_log_buffer_size&＃61;200M #根据生产需要&＃xff0c;调整pool size innodb_buffer_pool_size&＃61;2G #innodb_additional_mem_pool_size&＃61;50M #deprecated in 5.6 tmpdir&＃61;/usr/local/mysql/tmp innodb_lock_wait_timeout&＃61;1000 #innodb_thread_concurrency&＃61;0 innodb_flush_log_at_trx_commit&＃61;2 innodb_locks_unsafe_for_binlog&＃61;1 #innodb io features: add for mysql5.5.8 performance_schema innodb_read_io_threads&＃61;4 innodb-write-io-threads&＃61;4 innodb-io-capacity&＃61;200 #purge threads change default(0) to 1 for purge innodb_purge_threads&＃61;1 innodb_use_native_aio&＃61;on #case-sensitive file names and separate tablespace innodb_file_per_table&＃61;1 lower_case_table_names&＃61;1 [mysqldump] quick max_allowed_packet&＃61;128M [mysql] no-auto-rehash default-character-set&＃61;utf8mb4 [mysqlhotcopy] interactive-timeout [myisamchk] key_buffer_size&＃61;256M sort_buffer_size&＃61;256M read_buffer&＃61;2M write_buffer&＃61;2M

配置服务及开机自启动

cd /usr/local/mysql #将服务文件拷贝到init.d下&＃xff0c;并重命名为mysql cp support-files/mysql.server /etc/rc.d/init.d/mysql #赋予可执行权限 chmod &＃43;x /etc/rc.d/init.d/mysql #删除服务 chkconfig --del mysql #添加服务 chkconfig --add mysql chkconfig --level 345 mysql on #添加快捷方式 ln -s /usr/local/mysql/bin/mysql /usr/bin/

安装mysql的初始db

bin/mysqld \ --defaults-file&＃61;/etc/my.cnf \ --user&＃61;mysql \ --basedir&＃61;/usr/local/mysql/ \ --datadir&＃61;/usr/local/mysql/data/ \ --initialize

在初始化时如果加上 –initial-insecure&＃xff0c;则会创建空密码的 root&＃64;localhost 账号&＃xff0c;否则会创建带密码的 root&＃64;localhost 账号&＃xff0c;密码直接写在 log-error 日志文件中&＃xff08;在5.6版本中是放在 ~/.mysql_secret 文件里&＃xff0c;更加隐蔽&＃xff0c;不熟悉的话可能会无所适从&＃xff09;

启动

#下面命令执行完记得敲回车 /usr/local/mysql/bin/mysqld_safe --defaults-file&＃61;/etc/my.cnf & #启动mysql(如果上面命令没有启动mysql) service mysql start

查看临时密码

cat data/hostname.err |grep password

登录及修改用户密码

mysql -u root -p #输入刚刚日志中的密码进入 #设置密码 set password for &＃39;root&＃39;&＃64;&＃39;localhost&＃39;&＃61;password(&＃39;root&＃39;); #配置远程可以访问 grant all privileges on *.* to &＃39;root&＃39;&＃64;&＃39;%&＃39; identified by &＃39;root&＃39; with grant option; use mysql delete from user where host!&＃61;&＃39;%&＃39;; #刷新 flush privileges; #退出 quit

登录创建cm需要的库的用户

mysql -u root -p #输入修改后的密码 #scm库和权限暂时不创建&＃xff0c;后面指定数据库&＃xff0c;会自动创建 #CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; #GRANT ALL ON scm.* TO &＃39;scm&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;scm&＃39;; GRANT ALL ON amon.* TO &＃39;amon&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;amon&＃39;; GRANT ALL ON rman.* TO &＃39;rman&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;rman&＃39;; GRANT ALL ON metastore.* TO &＃39;hive&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;hive&＃39;; GRANT ALL ON hue.* TO &＃39;hue&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;hue&＃39;; GRANT ALL ON oozie.* TO &＃39;oozie&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;oozie&＃39;; #####注意此处再授权一个本主机名地址&＃xff0c;不然web页面配置很容易出错 GRANT ALL ON amon.* TO &＃39;amon&＃39;&＃64;&＃39;本主机名&＃39; IDENTIFIED BY &＃39;amon&＃39;; #刷新源 FLUSH PRIVILEGES; #检查权限是否正确 show grants for &＃39;amon&＃39;&＃64;&＃39;%&＃39;; show grants for &＃39;rman&＃39;&＃64;&＃39;%&＃39;; show grants for &＃39;hive&＃39;&＃64;&＃39;%&＃39;; show grants for &＃39;hue&＃39;&＃64;&＃39;%&＃39;; show grants for &＃39;oozie&＃39;&＃64;&＃39;%&＃39;; #hive中文乱码解决 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8; alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; #退出 quit #重启服务 service mysql restart
6.hadoop安装

1.配置本地yum云(需要httpd)

(先看安装部分&＃xff0c;下载需要更新yum源httpd&＃xff0c;进入其下目录&＃xff0c;创建cm&＃xff0c;管理文件夹,然后通过浏览器访问管理的文件)

#更新yum源httpd yum -y install httpd #查看httpd状态 systemctl status httpd.service #启动httpd service httpd start #配置httpd永久生效&＃xff08;重启生效&＃xff09; chkconfig httpd on

更新yum源yum-utils

#更新yum源yum-utils createrepo yum -y install yum-utils createrepo #进入yum源路径 cd /var/www/html/ #创建cm文件夹 mkdir cm

将下载好的资源添加进/var/www/html/cm/&＃xff08;参考cm&＃43;cdh安装&＃xff09;

CM百度网盘地址&＃xff1a;https://pan.baidu.com/s/1W2urUqeOPE4_cJP-IVXxGw 提取码&＃xff1a;r1h8
在这里插入图片描述

CDH百度网盘地址&＃xff1a;https://pan.baidu.com/s/13T9cHx8VVm2Xf8KxvweJWg 提取码&＃xff1a;hnki
在这里插入图片描述

#在添加完需要资源后&＃xff0c;使用工具和本地的yum源创建联系 createrepo /var/www/html/cm/

创建本地repo文件

vim /etc/yum.repos.d/cloudera-manager.repo #添加如下内容 [cloudera-manager] name&＃61;Cloudera Manager, Version yum baseurl&＃61;http://192.168.74.10/cm gpgcheck&＃61;0 enabled&＃61;1

更新yum源

yum clean all yum makecache

验证

yum list | grep cloudera-manager

将本地yum文件分发至从节点

scp /etc/yum.repos.d/cloudera-manager.repo root&＃64;node1:/etc/yum.repos.d/scp /etc/yum.repos.d/cloudera-manager.repo root&＃64;node2:/etc/yum.repos.d/scp /etc/yum.repos.d/cloudera-manager.repo root&＃64;node3:/etc/yum.repos.d/

安装JDK(所有子节点)

rpm -qa|grep java #查询目前已装的JDK rpm -e --nodeps #后面跟上一条命令查找出来的所有包&＃xff0c;用空格隔开 #卸载相应的JDK 或 yum remove java* # 卸载wget 10.0.1.70/cm/oracle-j2sdk1.8-1.8.0&＃43;update181-1.x86_64.rpmrpm -ivh oracle-j2sdk1.8-1.8.0&＃43;update181-1.x86_64.rpmvim /etc/profile #添加 export JAVA_HOME&＃61;/usr/java/jdk1.8.0_181-cloudera export PATH&＃61;$JAVA_HOME/bin:$PATH export CLASSPATH&＃61;.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarsource /etc/profilejava javac

2. 通过yum安装daemons,agent,server

主节点

yum list | grep cloudera-manager yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

从结点

yum list | grep cloudera-manager yum -y install cloudera-manager-daemons cloudera-manager-agent

上传cloudera-manager-installer.bin到主节点,赋予权限

mkdir /usr/software cd /usr/software chmod &＃43;x cloudera-manager-installer.bin

3.配置本地Parcel存储库

将CDH上传到指定文件夹

在这里插入图片描述

cd /opt/cloudera/parcel-repo/

校验文件是否下载完全

sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk &＃39;{ print $1 }&＃39; > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

执行安装

./cloudera-manager-installer.bin

在这里插入图片描述

rm -f /etc/cloudera-scm-server/db.properties #再次执行脚本(一路yes) ./cloudera-manager-installer.bin

在这里插入图片描述

在这里插入图片描述
此处便安装完成&＃xff0c;可以登录主机IP&＃43;7180端口登录web页面&＃xff0c;用户名密码admin/admin&＃xff0c;但是此处暂时不要急于登录网页并配置参数&＃xff0c;先改掉数据库连接方式重启cloudera-scm-server后再进行配置&＃xff0c;操作如下&＃xff1a;

1&＃xff09; 执行脚本scm_prepare_database.sh#设置Cloudera Manager 数据库 /opt/cloudera/cm/schema/scm_prepare_database.sh mysql -uroot -p&＃39;root&＃39; scm scm scm #进如mysql mysql -uroot -proot GRANT ALL ON scm.* TO &＃39;scm&＃39;&＃64;&＃39;%&＃39; IDENTIFIED BY &＃39;scm&＃39;; FLUSH PRIVILEGES; show grants for &＃39;scm&＃39;&＃64;&＃39;%&＃39;; quit

2&＃xff09; 停止ClouderaManager服务

service cloudera-scm-server stop service cloudera-scm-server-db stop

3&＃xff09; 删除内嵌的默认数据库PostgreSQL的配置

rm -f /etc/cloudera-scm-server/db.mgmt.properties

4&＃xff09; 启动ClouderaManager服务

service cloudera-scm-server start

如果有问题查看日志

vim /var/log/cloudera-scm-server/cloudera-scm-server.log

网络

参考https://blog.csdn.net/m0_38017084/article/details/82218559

https://blog.csdn.net/a18850765326/article/details/121693857

sed -i “s|SELINUX&＃61;enforcing|SELINUX&＃61;disabled|g” /etc/selinux/config

参考

https://blog.csdn.net/m0_38017084/article/details/82218559 https://blog.csdn.net/qq_44737094/article/details/117393393 https://blog.csdn.net/qq_44737094/article/details/116835037 https://blog.csdn.net/a18850765326/article/details/121693857《Cloudera Hadoop大数据平台实战指南》