概述参考文档基础环境和配置要求硬件及系统软件网络关闭一些服务修改内核参数配置Docker源配置K8S源重启操作系统安装软件卸载旧版本安装软件修改'Docker Cgroup Driver'为systemd加速Docker重启docker并启动kubelet初始化master节点重要说明将如下内容写成一个脚本文件并执行执行脚本报错检查master初始化结果初始化worker节点在master节点获取joi命令参数初始化worker检查初始化结果安装 Ingress Controller配置域名解析验证配置
Kubernetes
Docker
2Core
4G内存
CentOS7.6
Kubernetes v1.18.x
calico v3.13.1
nginx-ingress v1.5.5
Docker v19.03.8
角色 | 主机名 | IP地址 |
---|---|---|
master | k8s-master | 10.1.1.205 |
worker1 | k8s-slave1 | 10.1.1.161 |
worker2 | k8s-slave2 | 10.1.1.158 |
关闭selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
setenforce 0
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
关闭swap
swapoff -a
yes | cp /etc/fstab /etc/fstab_bak
cat /etc/fstab_bak |grep -v swap > /etc/fstab
cp /etc/sysctl.conf{,.bak}
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
echo "net.bridge.bridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf
echo "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.lo.disable_ipv6 = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.all.forwarding = 1" >> /etc/sysctl.conf
yum install -y yum-utils wget
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
cat <
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
reboot
卸载Docker
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
卸载kubelet|kubeadm|kubectl
yum remove -y kubelet kubeadm kubectl
安装Docker
version='19.03.8'
yum install -y docker-ce-${version} docker-ce-cli-${version} containerd.io
systemctl enable docker
systemctl start docker
安装kubelet|kubeadm|kubectl
version='1.18.2'
yum install -y kubelet-${version} kubeadm-${version} kubectl-${version}
将/usr/lib/systemd/system/docker.service文件中的这一行:
ExecStart=/usr/bin/dockerd -H fd:// --cOntainerd=/run/containerd/containerd.sock
修改为:
ExecStart=/usr/bin/dockerd -H fd:// --cOntainerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd
如果不修改,在添加 worker 节点时可能会碰到如下错误:
[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd".
Please follow the guide at https://kubernetes.io/docs/setup/cri/
sed -i "s#^ExecStart=/usr/bin/dockerd.*#ExecStart=/usr/bin/dockerd -H fd:// --cOntainerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd#g" /usr/lib/systemd/system/docker.service
export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com
curl -sSL https://kuboard.cn/install-script/set_mirror.sh | sh -s ${REGISTRY_MIRROR}
加速脚本另一个下载地址:
Aliyun
systemctl daemon-reload
systemctl restart docker
systemctl enable kubelet && systemctl start kubelet
WARNING:如果此时执行 service status kubelet 命令,将得到 kubelet 启动失败的错误提示,请忽略此错误,因为必须完成后续步骤中 kubeadm init 的操作,kubelet 才能正常启动。
关于初始化时用到的环境变量
APISERVER_NAME 不能是 master 的 hostname。
APISERVER_NAME 必须全为小写字母、数字、小数点,不能包含减号。
POD_SUBNET 所使用的网段不能与 master节点/worker节点 所在的网段重叠。该字段的取值为一个 CIDR 值,如果您对 CIDR 这个概念还不熟悉,请仍然执行 export POD_SUBNET=10.100.0.1/16 命令,不做修改。
# 只在 master 节点执行
# 替换 10.1.1.205 为 master 节点的内网IP
# export 命令只在当前 shell 会话中有效,开启新的 shell 窗口后,如果要继续安装过程,请重新执行此处的 export 命令
export MASTER_IP=10.1.1.205
# 替换 apiserver.demo 为 您想要的 dnsName
export APISERVER_NAME=apiserver.iuskye.com
# Kubernetes 容器组所在的网段,该网段安装完成后,由 kubernetes 创建,事先并不存在于您的物理网络中
export POD_SUBNET=10.100.0.1/16
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts
vim init_master.sh
#!/bin/bash
# 只在 master 节点执行
# 脚本出错时终止执行
set -e
export APISERVER_NAME=apiserver.iuskye.com
export POD_SUBNET=10.100.0.1/16
if [ ${#POD_SUBNET} -eq 0 ] || [ ${#APISERVER_NAME} -eq 0 ]; then
echo -e "\033[31;1m请确保您已经设置了环境变量 POD_SUBNET 和 APISERVER_NAME \033[0m"
echo "当前POD_SUBNET=$POD_SUBNET"
echo "当前APISERVER_NAME=$APISERVER_NAME"
exit 1
fi
# 查看完整配置选项 https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2
rm -f ./kubeadm-config.yaml
cat <
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v${1}
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
controlPlaneEndpoint: "${APISERVER_NAME}:6443"
networking:
serviceSubnet: "10.96.0.0/16"
podSubnet: "${POD_SUBNET}"
dnsDomain: "cluster.local"
EOF
# kubeadm init
# 根据您服务器网速的情况,您需要等候 3 - 10 分钟
kubeadm init --cOnfig=kubeadm-config.yaml --upload-certs
# 配置 kubectl
rm -rf /root/.kube/
mkdir /root/.kube/
cp -i /etc/kubernetes/admin.conf /root/.kube/config
# 安装 calico 网络插件
# 参考文档 https://docs.projectcalico.org/v3.13/getting-started/kubernetes/self-managed-onprem/onpremises
echo "安装calico-3.13.1"
rm -f calico-3.13.1.yaml
wget https://kuboard.cn/install-script/calico/calico-3.13.1.yaml
# 备用下载地址:https://picture-bed-iuskye.oss-cn-beijing.aliyuncs.com/kubernetes-deploy/calico-3.13.1.yaml
kubectl apply -f calico-3.13.1.yaml
chmod +x init_master.sh
./init_master.sh 1.18.2
W0523 05:12:57.137964 20806 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
[init] Using Kubernetes version: v1.18.2
[preflight] Running pre-flight checks
error execution phase preflight: [preflight] Some fatal errors occurred:
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher
手动进行设置:
echo '1' >/proc/sys/net/bridge/bridge-nf-call-iptables
重新执行脚本,在执行前先重置一下:
kubeadm reset -f
继续执行脚本:
./init_master.sh 1.18.2
重要提示
请确保您的环境符合 安装docker及kubelet 中所有勾选框的要求
请确保您使用 root 用户执行初始化命令
不能下载 kubernetes 的 docker 镜像
安装文档中,默认使用阿里云的 docker 镜像仓库,然而,有时候,该镜像会罢工
如碰到不能下载 docker 镜像的情况,请尝试手工初始化,并修改手工初始化脚本里的第22行(文档中已高亮)为:imageRepository: gcr.azk8s.cn/google-containers
检查环境变量,执行如下命令echo MASTER_IP=${MASTER_IP} && echo APISERVER_NAME=${APISERVER_NAME} && echo POD_SUBNET=${POD_SUBNET}
请验证如下几点:
环境变量 MASTER_IP 的值应该为 master 节点的 内网IP,如果不是,请重新 export
APISERVER_NAME 不能是 master 的 hostname
APISERVER_NAME 必须全为小写字母、数字、小数点,不能包含减号
POD_SUBNET 所使用的网段不能与 master节点/worker节点 所在的网段重叠。该字段的取值为一个 CIDR 值,如果您对 CIDR 这个概念还不熟悉,请仍然执行 export POD_SUBNET=10.100.0.1/16 命令,不做修改
重新初始化 master 节点前,请先执行 kubeadm reset -f
操作
# 只在 master 节点执行
# 执行如下命令,等待 3-10 分钟,直到所有的容器组处于 Running 状态
watch kubectl get pod -n kube-system -o wide
# 查看 master 节点初始化结果
kubectl get nodes -o wide
kubeadm token create --print-join-command
可获取kubeadm join 命令及参数,如下所示:
W0523 05:28:49.539913 34507 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8
Tips:该 token 的有效时间为 2 个小时,2小时内,您可以使用此 token 初始化任意数量的 worker 节点。
针对所有worker节点:
# 只在 worker 节点执行
# 替换 10.1.1.205 为 master 节点的内网 IP
export MASTER_IP=10.1.1.205
# 替换 apiserver.demo 为初始化 master 节点时所使用的 APISERVER_NAME
export APISERVER_NAME=apiserver.iuskye.com
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts
# 替换为 master 节点上 kubeadm token create 命令的输出
kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8
这里又报了同上面一样的错误:
kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8
W0523 05:33:28.473590 21608 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
[preflight] Running pre-flight checks
error execution phase preflight: [preflight] Some fatal errors occurred:
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher
手动解决这个问题:
echo '1' >/proc/sys/net/bridge/bridge-nf-call-iptables
继续加入worker节点:
kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8
在master节点上查看
kubectl get nodes -o wide
输出结果如下所示:
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8s-master Ready master 32m v1.18.2 10.1.1.205
k8s-slave1 Ready
k8s-slave2 Ready
# 只在 master 节点执行
kubectl apply -f https://kuboard.cn/install-script/v1.18.x/nginx-ingress.yaml
备用下载地址
将域名 kuber.iuskye.com
解析到 k8s-slave2
的 IP 地址 10.1.1.158
(也可以是 k8s-slave1
的地址 10.1.1.161
)。
在浏览器访问 kuber.iuskye.com
,将得到 404 NotFound 错误页面,如下图: