Kubernetes1.2新功能解析：multizone（多区）支持

导论

Kubernetes 1.2增加的一个新的功能是把一个集群跑在多个failure zone里&＃xff08;谷歌GCE管它叫“zone”&＃xff0c;亚马逊AWS管它们叫“availability zones”&＃xff0c;这里我们统称它们为“zones”&＃xff09;。这是把多个K8S集群联合起来&＃xff08;被称为“Ubernetes”&＃xff09;的一个轻便的版本。Ubernetes会允许把在多个云或者不同地区的多个K8S集群联合起来。然而&＃xff0c;很多开发者近是简单地想把他们云上地K8S集群跑在不同zone里&＃xff0c;这就是K8S的1.2版本所提供的multizone&＃xff08;多区&＃xff09;支持&＃xff08;我们称之为“Ubernetes Lite”&＃xff09;。

K8S 1.2特意对多区支持做了一些限制&＃xff1a;一个简单的K8S集群可以跑在多区&＃xff0c;但只能是在同一个地区&＃xff08;和同一个云上&＃xff09;。只有谷歌的GCE和亚马逊的AWS目前被自动的支持&＃xff08;尽管通过给节点和数据卷安排添加适当的标签来给其他云或者裸机加入类似的支持很容易&＃xff09;。

功能

当节点启动之后&＃xff0c;kubelet自动给它们添加zone信息的标签。K8S会自动在单个区的单个集群的冗余控制器&＃xff08;RC&＃xff09;内平均分布pods或者在节点上分布服务&＃xff08;来减少失败带来的影响&＃xff09;。对于多区集群来说&＃xff0c;这种平均分布的行为也应该是跨区&＃xff08;来减少区挂掉的影响&＃xff09;。&＃xff08;这是通过SelectorSpreadPriority来实现的&＃xff09;。这是最理想的方式&＃xff0c;但如果你集群所在的zone是不同的&＃xff08;比如&＃xff0c;节点数量不同&＃xff0c;节点类型不同或者不同的节点资源要求&＃xff09;&＃xff0c;这些都会有可能导致无法完美的跨区平均分布pods。如果可以的话&＃xff0c;你可以使用同一个区&＃xff08;同样的节点数量和节点类型&＃xff09;来减少不平均分配的概率。
当建立持久数据卷时&＃xff0c;PersistentVolumeLabel管理控制器自动会把zone标签加给数据卷。调度器&＃xff08;通过VolumeZonePredicate&＃xff09;会确保pod和分配给这个pod的数据卷在同一个zone里&＃xff0c;因为数据卷不能跨区。

限制

对于多区支持有如下几个限制

我们假定不同的区互相距离很近&＃xff0c;所以我们不做任何路由。尤其&＃xff0c;通过服务过来的请求可能是跨区的&＃xff08;即使在一些pods里的pod是支持这些服务的且这些pods和client同区&＃xff09;&＃xff0c;这可能会导致额外的延迟和开销。
数据卷对区有粘性&＃xff0c;只能以PersistentVolume来工作&＃xff0c;比如说如果你特地在pod的参数里指定一个EBS数据卷是无法奏效的。
集群不能跨云跨地区&＃xff08;这个功能要靠K8S完整版的集群联合支持&＃xff09;。
尽管你的节点在多个区&＃xff0c;kube-up现在默认是跑一个单一的master node。尽管服务是高可用&＃xff0c;能在一个区内容忍一些损失&＃xff0c;控制层是在某个单一区内。需要高可用控制层的开发者需留意关于K8S高可用方面的指南。

代码梳理

现在来梳理一下如何在GCE和AWS上建立和使用一个多区集群。你需要建一个完整的集群&＃xff08;指定MULTIZONE&＃61;1&＃xff09;,然后通过再跑kube-up在其他区增加节点&＃xff08;设定KUBE_USE_EXISTING_MASTER&＃61;true&＃xff09;

1. 建立你的集群

和往常一样来建立集群&＃xff0c;传入MULTIZONE让集群知道去管理多区&＃xff0c;在us-central1-a里创建节点:
GCE:

curl -sS https://get.k8s.io | MULTIZONE&＃61;1 KUBERNETES_PROVIDER&＃61;gce KUBE_GCE_ZONE&＃61;us-central1-aNUM_NODES&＃61;3 bash

AWS:

curl -sS https://get.k8s.io | MULTIZONE&＃61;1 KUBERNETES_PROVIDER&＃61;aws KUBE_AWS_ZONE&＃61;us-west-2a NUM_NODES&＃61;3 bash

通过这步就常规建立了一个集群&＃xff0c;仍然在单区跑&＃xff08;但通过 MULTIZONE&＃61;1 赋予了多区的能力&＃xff09;

2 节点打标签

看下节点&＃xff0c;你能看到它们被打了zone信息的标签。它们目前都在us-central1-a (GCE) 或者在 us-west-2a (AWS) 。这些标签&＃xff0c;对地区来说&＃xff0c;是failure-domain.beta.kubernetes.io/region &＃xff1b;对zone来说是 failure-domain.beta.kubernetes.io/zone

3 在第二个区内再加一些节点

现在让我们在一个不同的zone内&＃xff08;us-central1-b 或者 us-west-2b&＃xff09;利用已有的master&＃xff0c;在现有的集群里再加入一些节点。我们可以再跑一下kube-up&＃xff0c;但如果指定KUBE_USE_EXISTING_MASTER&＃61;1 的话&＃xff0c;kube-up不会创建一个新的master&＃xff0c;但会重复使用之前已有的。

GCE:

KUBE_USE_EXISTING_MASTER&＃61;true MULTIZONE&＃61;1 KUBERNETES_PROVIDER&＃61;gce KUBE_GCE_ZONE&＃61;us-central1-b NUM_NODES&＃61;3 kubernetes/cluster/kube-up.sh

在AWS上我们也需要给子网指定网络CIDR&＃xff0c;和master内部的IP地址&＃xff1a;
KUBE_USE_EXISTING_MASTER&＃61;true MULTIZONE&＃61;1 KUBERNETES_PROVIDER&＃61;aws KUBE_AWS_ZONE&＃61;us-west-2b NUM_NODES&＃61;3 KUBE_SUBNET_CIDR&＃61;172.20.1.0/24 MASTER_INTERNAL_IP&＃61;172.20.0.9 kubernetes/cluster/kube-up.sh

这时候再看下节点&＃xff0c;应该增加了三个节点&＃xff0c;在us-central1-b里。

4 数据卷和zone的粘性

通过新的动态数据卷创建来创立一个数据卷&＃xff08;只有持久数据卷才能保证数据卷和zone的粘性&＃xff09;

图片描述

持久数据卷也被打了标签&＃xff0c;标明了它被创建的地区和zone。在K8S 1.2版本里&＃xff0c;动态的持久数据卷总是被建在集群master同区&＃xff08;在现在这个例子里&＃xff0c;是在us-centaral1-a / us-west-2a&＃xff09;&＃xff1b;这在完整版中会提高。
所以&＃xff0c;现在我们要来创建一个pod&＃xff0c;来使用持久数据卷。因为GCE PDS/AWS EBS数据卷都不能跨区&＃xff0c;这意味着pod只能被创建在和数据卷同区内。

图片描述

5 Pods跨区的分布

在冗余控制器&＃xff08;RC&＃xff09;里的pod或者服务会被自动地跨区分布。首先&＃xff0c;让我们在第三个区内再生成一些节点

GCE:

KUBE_USE_EXISTING_MASTER&＃61;true MULTIZONE&＃61;1 KUBERNETES_PROVIDER&＃61;gce KUBE_GCE_ZONE&＃61;us-central1-f NUM_NODES&＃61;3 kubernetes/cluster/kube-up.sh

AWS:

KUBE_USE_EXISTING_MASTER&＃61;true MULTIZONE&＃61;1 KUBERNETES_PROVIDER&＃61;aws KUBE_AWS_ZONE&＃61;us-west-2c NUM_NODES&＃61;3 KUBE_SUBNET_CIDR&＃61;172.20.2.0/24 MASTER_INTERNAL_IP&＃61;172.20.0.9 kubernetes/cluster/kube-up.sh

检查一下你在三个区里有节点&＃xff1a;

kubectl get nodes --show-labels

建立一个K8S教程里guestbook-go例子&＃xff0c;包含一个RC&＃xff0c;数量写3&＃xff0c;跑一个简单的web应用&＃xff1a;

find kubernetes/examples/guestbook-go/ -name &＃39;*.json&＃39; | xargs -I {} kubectl create -f {}

pods应该跨三个区分布&＃xff1a;

图片描述

负载均衡器在一个集群之内跨区&＃xff0c;在K8S标准教程guestbook-go里有这个负载均衡器服务的例子:

图片描述

负载均衡器目前指向所有的pods&＃xff0c;尽管它们在不同的区里。

6 关闭集群

结束之后&＃xff0c;清理一下
GCE:

KUBERNETES_PROVIDER&＃61;gce KUBE_USE_EXISTING_MASTER&＃61;true KUBE_GCE_ZONE&＃61;us-central1-f kubernetes/cluster/kube-down.shKUBERNETES_PROVIDER&＃61;gce KUBE_USE_EXISTING_MASTER&＃61;true KUBE_GCE_ZONE&＃61;us-central1-b kubernetes/cluster/kube-down.shKUBERNETES_PROVIDER&＃61;gce KUBE_GCE_ZONE&＃61;us-central1-a kubernetes/cluster/kube-down.sh

AWS:

KUBERNETES_PROVIDER&＃61;aws KUBE_USE_EXISTING_MASTER&＃61;true KUBE_AWS_ZONE&＃61;us-west-2c kubernetes/cluster/kube-down.shKUBERNETES_PROVIDER&＃61;aws KUBE_USE_EXISTING_MASTER&＃61;true KUBE_AWS_ZONE&＃61;us-west-2b kubernetes/cluster/kube-down.shKUBERNETES_PROVIDER&＃61;aws KUBE_AWS_ZONE&＃61;us-west-2a kubernetes/cluster/kube-down.sh

原文链接点这里