Kubernetes1.14.1快速升级

Kubernetes 1.14.1已经正式发布&＃xff0c;快速升级&＃xff08;含国内镜像快速下载链接&＃xff09;包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《Ubuntu上软件锁定版本不更新》安装特定DockerCE版本。

1、升级kubeadm/kubectl/kubelet版本

sudo apt install kubeadm&＃61;1.14.1-00 kubectl&＃61;1.14.1-00 kubelet&＃61;1.14.1-00

查看该版本的容器镜像版本&＃xff1a;

kubeadm config images list

输出如下&＃xff1a;

~# kubeadm config images listk8s.gcr.io/kube-apiserver:v1.14.1
k8s.gcr.io/kube-controller-manager:v1.14.1
k8s.gcr.io/kube-scheduler:v1.14.1
k8s.gcr.io/kube-proxy:v1.14.1
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1

2、拉取容器镜像

原始的kubernetes镜像文件在gcr上&＃xff0c;不能直接下载。我给镜像到了阿里云的杭州机房的容器仓库里&＃xff0c;拉取还是比较快的。

echo ""
echo "&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;"
echo "Pull Kubernetes v1.14.1 Images from aliyuncs.com ......"
echo "&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;"
echo ""MY_REGISTRY&＃61;registry.cn-hangzhou.aliyuncs.com/openthings## 拉取镜像
docker pull ${MY_REGISTRY}/k8s-gcr-io-kube-apiserver:v1.14.1
docker pull ${MY_REGISTRY}/k8s-gcr-io-kube-controller-manager:v1.14.1
docker pull ${MY_REGISTRY}/k8s-gcr-io-kube-scheduler:v1.14.1
docker pull ${MY_REGISTRY}/k8s-gcr-io-kube-proxy:v1.14.1
docker pull ${MY_REGISTRY}/k8s-gcr-io-etcd:3.3.10
docker pull ${MY_REGISTRY}/k8s-gcr-io-pause:3.1
docker pull ${MY_REGISTRY}/k8s-gcr-io-coredns:1.3.1## 添加Tag
docker tag ${MY_REGISTRY}/k8s-gcr-io-kube-apiserver:v1.14.1 k8s.gcr.io/kube-apiserver:v1.14.1
docker tag ${MY_REGISTRY}/k8s-gcr-io-kube-scheduler:v1.14.1 k8s.gcr.io/kube-scheduler:v1.14.1
docker tag ${MY_REGISTRY}/k8s-gcr-io-kube-controller-manager:v1.14.1 k8s.gcr.io/kube-controller-manager:v1.14.1
docker tag ${MY_REGISTRY}/k8s-gcr-io-kube-proxy:v1.14.1 k8s.gcr.io/kube-proxy:v1.14.1
docker tag ${MY_REGISTRY}/k8s-gcr-io-etcd:3.3.10 k8s.gcr.io/etcd:3.3.10
docker tag ${MY_REGISTRY}/k8s-gcr-io-pause:3.1 k8s.gcr.io/pause:3.1
docker tag ${MY_REGISTRY}/k8s-gcr-io-coredns:1.3.1 k8s.gcr.io/coredns:1.3.1echo ""
echo "&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;"
echo "Pull Kubernetes v1.14.1 Images FINISHED."
echo "into registry.cn-hangzhou.aliyuncs.com/openthings, "
echo " by openthings&＃64;https://my.oschina.net/u/2306127."
echo "&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;"echo ""

保存为shell脚本&＃xff0c;然后执行。

• 或者&＃xff0c;下载脚本&＃xff1a;https://github.com/openthings/kubernetes-tools/blob/master/kubeadm/2-images/

3、升级Kubernetes集群

全新安装&＃xff1a;

#指定IP地址&＃xff0c;1.14.1版本&＃xff1a;
sudo kubeadm init --kubernetes-version&＃61;v1.14.1 --apiserver-advertise-address&＃61;10.1.1.199 --pod-network-cidr&＃61;10.244.0.0/16#注意&＃xff0c;CoreDNS已经内置&＃xff0c;不再需要参数--feature-gates CoreDNS&＃61;true

先查看一下需要升级的各个组件的版本。

使用kubeadm upgrade plan &＃xff0c;输出的版本升级信息如下&＃xff1a;

COMPONENT CURRENT AVAILABLE
API Server v1.14.0 v1.14.1
Controller Manager v1.14.0 v1.14.1
Scheduler v1.14.0 v1.14.1
Kube Proxy v1.14.0 v1.14.1
CoreDNS 1.3.1 1.3.1
Etcd 3.3.10 3.3.10

确保上面的容器镜像已经下载&＃xff08;如果没有提前下载&＃xff0c;可能被网络阻隔导致挂起&＃xff09;&＃xff0c;然后执行升级&＃xff1a;

kubeadm upgrade -y apply v1.14.1

看到下面信息&＃xff0c;就OK了。

[upgrade/successful] SUCCESS! Your cluster was upgraded to "v1.14.1". Enjoy!

然后&＃xff0c;配置当前用户环境&＃xff1a;

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config


就可以使用 kubectl version 来查看状态和 kubectl cluster-info 查看服务地址。

4、工作节点的升级

每个工作节点需要拉取上面对应版本的镜像&＃xff0c;以及安装kubelet的对应版本。

检查版本&＃xff1a;

~$ kubectl version


查看Pod信息&＃xff1a;

kubectl get pod --all-namespaces

完成。

5、HA cluster的升级

从1.13.x之前的版本升级上了的话&＃xff0c;因为api改变&＃xff08;kubelet升为1.14后无法启动apiserver&＃xff09;&＃xff0c;导致新的kubeadm访问以前的apiserver出错&＃xff0c;从而升级失败。可以拉取镜像下来后&＃xff0c;手工切换镜像的版本&＃xff08;所有节点的/etc/kubernetes/manifests下的文件都需要修改&＃xff09;。

对每一个节点&＃xff0c;执行下面的步骤&＃xff1a;

• cd /etc/kubernetes/manifests/。
• 改变所有的 *.yaml , 指定 images 版本为 1.14.1。

在1.14.0版本升级完后&＃xff0c;出现问题(1.14.1仍存在)&＃xff1a;

• 工作节点 join 到 cluster失败&＃xff0c;参见 [kubeadm] #76013, https://github.com/kubernetes/kubernetes/issues/76013
• 据有的社区成员测试&＃xff0c;全新安装的1.14集群可以正常运行。
• 我的集群是从1.13.4上升级而来&＃xff0c;经测试1.14.1版本&＃xff0c;该问题仍然存在。
• kube-proxy的版本需要进管理工具去修改DaemonSet的images版本号为1.14.1。
• coredns的版本需要进管理工具去修改复制集的images版本号为1.3.1。
  • 再次运行flannel的安装&＃xff0c;不管用。
  • 但是&＃xff0c;修改完重启集群就起不来了。进去看pod状态为Crash。
  • 强制删除CoreDNS的Pod运行实例。Kubernetes会自动启动新的实例。
    • 可以参考《Kubernetes中强制删除已销毁的顽固pod》。
• 原来安装的jupyterhub起不来了&＃xff0c;进去看hub pod状态为Crash。
  • 查看hub的日志&＃xff0c;显示SQLlite访问出错&＃xff0c;将其从宿主存储目录下移除&＃xff0c;访问hub service失败。
  • 删除hub pod后&＃xff0c;service的proxy-public也无法连接。
  • 强制删除JupyterHub的hub和Proxy的Pod运行实例。
  • 强制删除CoreDNS的Pod运行实例&＃xff0c;Kubernetes自动启动新实例后&＃xff0c;运行恢复。
  • 有时候是glusterfs设置权限问题&＃xff0c;setfacl/getfacl进行设置。
    • 参考&＃xff1a;GlusterFS: 访问权限设置
  • 进一步检查&＃xff0c;发现可能是GlusterFS的volume写入问题&＃xff0c;不同步引起的。
    • hub-db-dir目录下的jupyterhub.sqllite写入临时文件存在&＃xff0c;导致锁死&＃xff0c;不是glusterfs写入权限问题。
    • 设置gluster volume heal vol01 enable&＃xff0c;让其数据同步。
    • 重启volume或者glusterd服务。
    • 或者&＃xff0c;删除所有gluster存储节点下的hub-db-dir目录下的jupyterhub.sqllite文件&＃xff0c;再删除hub pod&＃xff0c;使其自动重建文件。
    • 一般上面几步后&＃xff0c;能够恢复。

其它&＃xff1a;

• 出现整个集群无法访问&＃xff0c;kubectl get node失败&＃xff0c;kubectl version时apiserver访问失败。
• 查看其中一个节点route&＃xff0c;再次出现神秘的podsxx 255.255.255.255路由记录&＃xff0c;route del删除记录失败。
• 运行sudo netplan apply后&＃xff0c;路由记录消失&＃xff0c;节点恢复可访问。

更多参考&＃xff1a;

• 1.14.1 issues, https://kubernetes.io/docs/setup/release/notes/#known-issues
• Kubernetes 1.13.1快速升级
• Ubuntu上软件锁定版本不更新
• Ubuntu 18.04 设置多网卡多端口聚合
• 快速建立Kubernetes集群&＃xff0c;从零开始
• Ubuntu 18.04 LTS安装Kubernetes 1.11
• Kubernetes集群高可用的策略和实践