摘要: 用户通过 Deployment、ReplicationController 可以方便地在 kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据,通过简单的负载均衡策略可实现请求分发。
背景用户通过 Deployment、ReplicationController 可以方便地在 kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据,通过简单的负载均衡策略可实现请求分发。随着 k8s 的普及和云原生架构的兴起,越来越多的人希望把数据库这类有状态服务也通过 k8s 进行编排。但因为有状态服务的复杂性,这一过程并不容易。本文将以最流行的开源数据库 MySQL 为例,介绍如何在 k8s 上部署运维有状态服务。本文所作的调研基于k8s 1.13。
使用 StatefulSet 部署 MySQL本章将以 k8s 官方教程 Run a Replicated Stateful Application 中提供的样例为基础,介绍如何基于 StatefulSet 部署高可用 MySQL 服务。
StatefulSet 简介
Deployment、ReplicationController 是为无状态服务而设计的,它们中 pod 的名称、主机名、存储都是不稳定的,且 pod 的启动、销毁顺序随机,并不适合数据库这样的有状态应用。为此,k8s 推出了面向有状态服务的工作负载 StatefulSet。其管理的 pod 具有如下特点:
服务部署
这里介绍的高可用 MySQL 服务由一个 master 节点和多个从 master 上异步复制数据的 slave 节点组成,即一主多从复制模型。其中,master 节点可用来处理用户的读写请求,slave 节点只能用来处理用户的读请求。
为了部署这样的服务,除了 StatefulSet 之外,还需要使用许多其它类型的 k8s 资源对象,包括 ConfigMap、Headless Service、ClusterIP Service 等。正是它们间的相互配合,才能让 MySQL 这样的有状态服务有条件运行在 k8s 之上。
ConfigMap
为了便于维护应用配置,大型系统和分布式应用常常采用集中式的配置管理策略。在 k8s 环境下,用户可以通过 ConfigMap 将配置和 pod 分离,这有助于保持工作负载的可移植性,使其配置更易于更改和管理。
样例包含一个名为mysql的 ConfigMap,当 StatefulSet 中的 pod 启动时,会根据自己的角色从 ConfigMap 中读取合适的配置。
Headless Service
Headless Service 会为关联的每一个 pod 提供对应的 DNS 地址,格式为.。这样,客户端就可以自由地选择想要访问的应用实例,同时也能够解决分布式环境下不同实例之间身份识别的问题。
样例包含一个名为mysql的 Headless Service,该 service 与 StatefulSet 中的 pod 相关联,这些 pod 将被分配如下 DNS 地址mysql-0.mysql、mysql-1.mysql、mysql-2.mysql。这样,客户端就可以通过mysql-0.mysql访问 master 节点,通过mysql-1.mysql或mysql-2.mysql访问 slave 节点。
ClusterIP Service
为了方便只读场景下的访问,样例提供了一个名为mysql-read的普通 service。该 service 拥有自己的 cluster IP,并会将请求分发至关联的 pod(包括 master 和 slave),为用户屏蔽 pod 的访问细节。
StatefulSet
StatefulSet 是服务部署的关键,它管理的每个 pod 会被分配一个唯一的名称,格式为-。样例中的 StatefulSet 名为mysql,因此这些 pod 分别被命名为mysql-0,mysql-1和mysql-2。默认情况下,它们会按顺序创建,并按逆序销毁。
如下图所示,一个 pod 包含 2 个 init container 和 2 个 app container,并且通过唯一的 PersistentVolumeClaim 和存储卷供应方提供的 PersistentVolume 绑定。
和 Pod 相关的各个组件的功能如下:
服务运维
为了保证服务性能、提升系统可靠性,部署工作完成后还需要相应的运维支撑。对于数据库服务,常见的运维工作包括服务故障恢复、服务扩容缩容、服务状态监控、数据备份恢复等。
服务故障恢复
服务在遇到故障时能否自愈,是判断一个系统自动化程度的关键指标。在当前架构下,MySQL 服务在遇到宿主机宕机,master 或 slave 节点崩溃等问题时能自动恢复。在上述问题发生后,k8s 会重新调度遇到问题的 pod,让其重新运行。由于使用了 StatefulSet,这些 pod 的名称、主机名和存储会与原来保持一致。
服务扩容缩容
在 MySQL 一主多从复制模型下,扩容缩容意味着调整 slave 节点个数。得益于 StatefulSet 对 pod 启动、销毁顺序的保证,通过如下命令就可以轻松实现服务的扩容缩容。
kubectl scale statefulset mysql --replicas=
服务状态监控
要保证服务的稳定性离不开对服务运行状态的监控。除了通过就绪探针和活性探针检测服务是否正常外,往往还需要更细粒度的监控指标。用户可以借助 mysqld-exporter 将 MySQL 的核心指标暴露给 prometheus,然后基于 prometheus 做监控告警。对于 mysqld-exporter,推荐以 sidecar 模式和 mysqld 容器部署在同一个 pod 中。
数据备份恢复
数据的备份和恢复是保障数据安全的有效手段。这里,用户可以直接使用存储卷暴露的接口或者利用 VolumeSnapshot 功能完成数据的备份恢复工作,下面分别进行介绍。
使用存储卷接口
许多存储卷供应方都提供了保存数据快照和基于快照恢复数据的功能,这些功能通常以接口的形式暴露给用户。采样这种方式要求用户熟悉对应存储卷供应方提供的操作接口。例如服务选用了阿里云云盘作为外部存储卷,需要用户了解云盘提供的快照接口。
使用 VolumeSnapshot
K8s v1.12 引入了 3 个快照相关的资源对象VolumeSnapshot、VolumeSnapshotContent、VolumeSnapshotClass,通过它们提供了快照操作的标准方法。这样,用户可以在不感知外部存储卷的情况下,为存放 MySQL 数据的存储卷创建快照,或者基于快照恢复数据。
相比直接使用底层存储卷接口,使用 VolumeSnapshot 显然是更为理想的方法。但目前 VolumeSnapshot 还处在 Alpha 阶段,支持标准快照操作的外部存储卷也有限,这些都限制了当下 VolumeSnapshot 的应用场景。想进一步了解 VolumeSnapshot 可参考文档 Volume Snapshots。
使用 Operator 部署 MySQL虽然用户可以基于 StatefulSet 在 k8s 中部署运维一套高可用 MySQL 服务,但过程相对复杂。用户既要熟悉各种 k8s 资源对象,又要学习很多 MySQL 的操作细节,同时还需维护一套复杂的管理脚本。为了降低在 k8s 中部署复杂应用的门槛,诞生了 Kubernetes Operator。
Operator 简介
Operator 是由 CoreOS 公司推出的,用来打包、部署和管理需要运行在 k8s 之上的复杂应用的一种方法。Operator 将运维人员对软件操作的知识代码化,同时综合运用 k8s 各种资源对象来实现复杂应用的部署和运维。
Operator 通过 CustomResourceDefinition 为服务定义了新的资源对象,同时通过自定义控制器来保证应用处于预期状态。
Operator 的工作流程可抽象成以下三个步骤:
Oracle MySQL Operator
对于 MySQL 服务,已经有很多优秀的开源 Operator 解决方案,包括 grtl/mysql-operator、oracle/mysql-operator、presslabs/mysql-operator、kubedb/mysql 等。本节将要介绍的 Oracle MySQL Operator 便是这些开源解决方案的典型代表。
Oracle MySQL Operator 工作原理
Oracle MySQL Operator 支持以下 2 种 MySQL 部署模式。
下图展示了 Multi-Primary 模式下 Operator 的工作原理。
下列流程是理解 Operator 工作原理的关键:
服务部署
得益于 Operator 对复杂部署细节的封装,现在创建一个集群变得非常简单。例如,通过如下配置就可以部署一个包含 3 个节点的 MySQL Multi-Primary 集群。
apiVersion: mysql.oracle.com/v1alpha1kind: Clustermetadata: name: mysql-multimaster-clusterspec: multiMaster: true members: 3
服务运维
在 Operator 模式下,同样会涉及服务故障恢复、服务扩容缩容、服务状态监控、数据备份恢复等运维工作。
服务故障恢复
由于 StatefulSet 的存在,当某个 MySQL 服务实例崩溃时,k8s 会对其重新调度。另外,如果 StatefulSet 被误删,Operator 也会对其进行重建。
服务扩容缩容
通过更改资源对象 MySQLCluster 的字段spec.members可以轻松实现服务扩容缩容。这里只对用户暴露了 MySQLCluster,屏蔽了底层 k8s 资源对象。
服务状态监控
可以在 k8s 中部署 Prometheus 监控 Operator 和各个 MySQL 集群的状态。具体步骤可参考文档 Monitoring。
数据备份恢复
可以通过资源对象 MySQLBackup、MySQLRestore 对数据进行备份和恢复,为用户屏蔽了不同存储卷操作上的差别。另外,还可以通过 MySQLBackupSchedule 创建定时备份任务。
例如,以下配置可以每隔 30 分钟对 MySQL 集群mysql-cluster的数据库test进行备份。
[...]kind: BackupSchedulespec: schedule: '*/30 * * * *' backupTemplate: cluster: name: mysql-cluster executor: provider: mysqldump databases: - test[...]
总结
本文分别介绍了通过原生 k8s 资源对象 StatefulSet 以及通过 MySQL Operator 部署运维一套高可用 MySQL 服务的方法和原理。可以看到 Operator 屏蔽了复杂应用的编排细节,大大降低了它们在 k8s 中的使用门槛。如果您有其它复杂应用需要部署,建议采用 Operator 方式。
参考资料https://yq.aliyun.com/articles/685522
https://banzaicloud.com/blog/mysql-on-kubernetes/
扩展阅读https://yq.aliyun.com/articles/688626
https://yq.aliyun.com/articles/688627
作者:吴波bruce_wu