作者:mobiledu2502883647 | 来源:互联网 | 2023-05-19 06:17
设置FQDN
hostnamectl set-hostname XXX
#验证
hostname
hostname -f
dnsdomainname
设置hosts
vi /etc/hosts
192.168.1.213 master.bigdata master
时间同步,参考https://www.cnblogs.com/TiestoRay/p/6045778.html
Linux集群的NTP服务器时间同步
我们搭建集群环境的时候,时间必须是要统一的,才能保证集群数据的一致性。
一般操作是直接使用NTP,跟默认的时间服务器同步,但是最好还是让所有节点跟集群中的某台作为时间服务器的节点同步。
步骤:(节点有NameNode1,NameNode2,DataNode1,DataNode2,DataNode3)
- 选择一台服务器作为时间服务器。(DataNode1做为时间服务器)
- 使用root用户,查看服务器是否安装ntp服务
没有安装的话使用yum install进行安装。
- 修改文件 /etc/ntp.conf,一共修改三处内容:
- ①将#去掉。并且将网段修改正确。
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
- ②将以下4个server进行#注释掉
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
-
③最后添加俩句话:
server 127.127.1.0 #local clock
fudge 127.127.1.0 stratum 10
- 编辑etc/sysconfig/ntpd文件
# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes
OPTIOnS="-u ntp:ntp -p /var/run/ntpd.pid -g"
-
启动ntpd服务,并且设置开机启动
systemctl start ntpd.service
systemctl enable ntpd.service
- 每个需要同步的子节点进行确认有没有ntp。如果没有的话就安装下。
- root账户下在每个需要同步的子节点编写crontab任务(crontab -e)。这个任务的意义就是每10分钟和master01同步下服务器时间。
0-59/10 * * * * /usr/sbin/ntpdate master01.timer.cn
附:
1.作为时间服务器的节点的时间校准可以是人工指定(不与其他集群协作的情况下),也可以是跟其他组织的时间服务器同步
这里只说第二种情况。首先要确认当前服务器的时区
将时区设为上海
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
然后通过定时任务,与阿里云的时间服务器 ntp1.aliyun.com 同步(方法同上面第10步,ntp1~ntp7)
2.不同操作系统之间也是可以做时间同步的。linux与windows之间同步是没问题的。
ssh免密登录
ssh-keygen -t rsa
ssh-copy-id master
关闭Selinux,所有机器
vim /etc/sysconfig/selinux
selinux=disalbed
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
安装jdk
# mkdir /usr/local/jdk
# tar -xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/jdk/
# vim /etc/profile
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
# source /etc/profile
# java -version
设置本地源
在ambari.server上配置httpd服务:
# yum install -y httpd
rpm -Uvh httpd-2.4.6-80.el7.centos.x86_64.rpm httpd-tools-2.4.6-80.el7.centos.x86_64.rpm httpd-manual-2.4.6-80.el7.centos.noarch.rpm mod_ssl-2.4.6-80.el7.centos.x86_64.rpm
把下载到的3个资源文件,上传到ambari.server,并解压到制定目录:
# mkdir /var/www/html/ambari-hdp
# mkdir /var/www/html/ambari-hdp/HDP-UTILS
# tar -xvf ambari-2.2.1.0-centos7.tar.gz -C /var/www/html/ambari-hdp/
# tar -xvf HDP-2.4.0.0-centos7-rpm.tar.gz -C /var/www/html/ambari-hdp/
# tar -xvf HDP-UTILS-1.1.0.20-centos7.tar.gz -C /var/www/html/ambari-hdp/HDP-UTILS
启动httpd服务:
通过浏览器访问本地资源地址,如果能看到以下页面,则表示配置成功:
7. 配置Yum本地Repos资源池
在ambari.server上执行:
# yum install -y yum-plugin-priorities
a) 修改Yum安装源的校验
# vi /etc/yum/pluginconf.d/priorities.conf
#设置为以下内容
[main]
enabled=1
gpgcheck=0
b) 制作本地资源文件
创建Ambari、HDP、HDP-UTIL资源文件:
- ambari.repo:
[ambari-2.2.1.0]
name=ambari-2.2.1.0
baseurl=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161
gpgcheck=0
gpgkey=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
- hdp.repo
[HDP-2.4.0.0]
name=Hortonworks Data Platform Version - HDP-2.4.0.0
baseurl=http://192.168.141.159/ambari-hdp/HDP/centos7/2.x/updates/2.4.0.0
gpgcheck=0
gpgkey=http://192.168.141.159/ambari-hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
- hdp-util.repo
[HDP-UTILS-1.1.0.20]
name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.20
baseurl= http://192.168.141.159/ambari-hdp/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=0
enabled=1
priority=1
制作完成后,移动到/etc/yum.repos.d/;依次执行以下命令,更新本地资源池:
# yum clean list
# yum update list
# yum makecache
等待更新完毕后,查看资源池:
如果看到以下资源,表示配置成功:
安装mysql
rpm -Uvh mysql-community-release-el7-5.noarch.rpm
rpm -Uvh mysql-community-client-5.6.40-2.el7.x86_64.rpm mysql-community-common-5.6.40-2.el7.x86_64.rpm mysql-community-libs-5.6.40-2.el7.x86_64.rpm mysql-community-server-5.6.40-2.el7.x86_64.rpm perl-DBI-1.627-4.el7.x86_64.rpm perl-Net-Daemon-0.48-5.el7.noarch.rpm perl-PlRPC-0.2020-14.el7.noarch.rpm perl-Data-Dumper-2.145-3.el7.x86_64.rpm perl-IO-Compress-2.061-2.el7.noarch.rpm perl-Compress-Raw-Bzip2-2.061-3.el7.x86_64.rpm perl-Compress-Raw-Zlib-2.061-4.el7.x86_64.rpm
node2 mysql安装完成,还一直出错,删除mysql本地源可解决
用到的资源:
ambari下载地址:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/content/hdp_26_repositories.html
centos7镜像源:http://mirrors.163.com/centos/7/os/x86_64/Packages/
mysql下载地址:https://dev.mysql.com/downloads/
常见问题:
SSLError: Failed to connect. Please check openssl library versions
JDK版本不匹配
To use MySQL with Hive, you must download the MySQL Connector/J JDBC Driver from MySQL. Once downloaded to the Ambari Server host, run:
ambari-server setup --jdbc-db=mysql --jdbc-driver=/path/to/mysql/mysql-connector-java.jar
配置本地centos源,禁用其他源
修改两个文件名称
42a80e759522768b2cc357553bb64bd7345b06abeb60187f881089b859a63454-primary.sqlite.bz2
436345f4b666f0a461d479ccfabc2c22823d4f2173c2653e5250fea62f0afe98-c7-x86_64-comps.xml.gz
卸载现有版本
# yum erase libtirpc-0.2.4-0.6.el7.x86_64
安装匹配版本
# yum localinstall libtirpc-0.2.4-0.8.el7.x86_64.rpm
# yum localinstall libtirpc-devel-0.2.4-0.8.el7.x86_64.rpm
升级openssl
rpm -Uvh openssl-1.0.2k-12.el7.x86_64.rpm openssl-libs-1.0.2k-12.el7.x86_64.rpm
降低python版本
yum downgrade XXX XXX
网卡地址:
vi /etc/sysconfig/network-scripts/ifcfg-ens32
重启网卡
service network restart
dns
vi /etc/resolv.conf