阿里云ECS搭建k8s高可用集群踩坑记录

之前使用过 minikube 搭建过 k8s 玩具集群&＃xff0c;最近想尝试一下搭建高可用集群。由于高可用集群至少需要三台 2C2G 的机器&＃xff0c;一开始尝试使用本机的虚拟机搭建&＃xff0c;但后面搭建过程中三台较高配的虚拟机高负载运行导致电脑死机。后面把目光转向云服务。阿里云和华为云都提供抢占式按时付费的 ECS&＃xff0c;而腾讯云则没有&＃xff0c;比较一下价格阿里云总体价格最便宜&＃xff0c;所以就决定以阿里云抢占式 ECS 为基础尝试搭建一个 k8s 高可用集群。

总体架构

总体的架构就是在一个专用网络上 ECS 的互通来搭建集群。

原本以为这个和在本地使用虚拟机以及本地机器连同一样简单&＃xff0c;没想到有一堆的坑在等着我。

专有网络&＃xff08;VPC&＃xff09;坑

Keepalived 广播模式不能使用

VPC 是不支持组播和广播的&＃xff0c;一开始 Keepalived 使用默认配置用的是广播方式&＃xff0c;按照默认的配置会导致所有主机都认为自己是 Master。

默认情况下 VIP 不可达

没有在 VPC 上注册的 IP 都不可达&＃xff0c;HaVip 是公测功能&＃xff0c;需要单独开通&＃xff0c; HaVip 需要绑定到机器上才能使得 VIP 可达&＃xff0c;而且 HaVip 只能绑定两台机器&＃xff0c;限制很大。

SLB 坑

由于上面 VPC 的坑&＃xff0c;我就放弃了自己用 keepalived &＃43; haproxy 搭建负载均衡的想法&＃xff0c;打算直接使用阿里云自带的 SLB 做负载均衡&＃xff0c;没想到又从一个坑掉到另一个坑。

SLB 做以下的负载均衡

SLB 不能回环访问

搭好了 SLB 并配置好之后&＃xff0c;就开始搭建&＃xff0c;然后在 10.0.0.1 上 ping SLB 是能够 ping 通的&＃xff0c;然后使用 telnet SLB 监听端口则不通。最终就导致了&＃xff0c;我在负载均衡的机器上不能通过负载均衡来访问自身服务。在网上找到一些资料说这是 SLB 的一些限制。而且 SLB 的调试手段并不友好&＃xff0c;基本的网络调试工具也没有。

这个限制我觉得非常限制我的系统&＃xff0c;所以放弃了使用 SLB。

最终方法

单独申请了 HaVip&＃xff0c;本以为申请很麻烦&＃xff0c;要审批什么的&＃xff0c;没想到很挺快&＃xff0c;随申随用。

使用 Keepalived 的单播模式&＃xff08;就是指定 unicast_src_ip 和 unicast_peer&＃xff09;加上自己搭建 HaProxy 的方式自己搭建 SLB。自己搭建的 SLB 能够回环访问&＃xff0c;十分的方便。

最终也没搞明白为什么阿里云的 SLB 不允许回环访问。

总结

上云需谨慎&＃xff0c;实施时真的要找相关云的专家做方案评审&＃xff0c;不然浪费时间又出不了效果。

像 VPC 宣传时说可以完全掌握自己的专有网络&＃xff0c;一开始就想是不是就是一个专属的 vSwitch 自己怎么玩都行&＃xff0c;没想过它既不支持广播和组播。自己动态配置的 IP 都是不可达的&＃xff0c;一定要使用 HaVip 绑定才行。

还有 SLB&＃xff0c;一般的 SLB 就是四层的负载均衡器&＃xff0c; LVS &＃43; Haproxy 搭建&＃xff0c;如果自己搭建的也不会想到限制回环访问这种操作。