热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

k8s使用volume将ConfigMap作为文件或目录直接挂载_K8s应用管理之道有状态服务

摘要:用户通过Deployment、ReplicationController可以方便地在kubernetes中部署一套高可用、可扩展的分布式无状态服务。这类应用不在

摘要: 用户通过 Deployment、ReplicationController 可以方便地在 kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据,通过简单的负载均衡策略可实现请求分发。

背景

用户通过 Deployment、ReplicationController 可以方便地在 kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据,通过简单的负载均衡策略可实现请求分发。随着 k8s 的普及和云原生架构的兴起,越来越多的人希望把数据库这类有状态服务也通过 k8s 进行编排。但因为有状态服务的复杂性,这一过程并不容易。本文将以最流行的开源数据库 MySQL 为例,介绍如何在 k8s 上部署运维有状态服务。本文所作的调研基于k8s 1.13。

使用 StatefulSet 部署 MySQL

本章将以 k8s 官方教程 Run a Replicated Stateful Application 中提供的样例为基础,介绍如何基于 StatefulSet 部署高可用 MySQL 服务。

StatefulSet 简介

Deployment、ReplicationController 是为无状态服务而设计的,它们中 pod 的名称、主机名、存储都是不稳定的,且 pod 的启动、销毁顺序随机,并不适合数据库这样的有状态应用。为此,k8s 推出了面向有状态服务的工作负载 StatefulSet。其管理的 pod 具有如下特点:

  1. 唯一性 - 对于包含 N 个副本的 StatefulSet,每个 pod 会被分配一个 [0,N)范围内的唯一序号。
  2. 顺序性 - StatefulSet 中 pod 的启动、更新、销毁默认都是按顺序进行的。
  3. 稳定的网络身份标识 - pod 的主机名、DNS 地址不会随着 pod 被重新调度而发生变化。
  4. 稳定的持久化存储 - 当 pod 被重新调度后,仍然能挂载原有的 PersistentVolume,保证了数据的完整性和一致性。

服务部署

这里介绍的高可用 MySQL 服务由一个 master 节点和多个从 master 上异步复制数据的 slave 节点组成,即一主多从复制模型。其中,master 节点可用来处理用户的读写请求,slave 节点只能用来处理用户的读请求。

为了部署这样的服务,除了 StatefulSet 之外,还需要使用许多其它类型的 k8s 资源对象,包括 ConfigMap、Headless Service、ClusterIP Service 等。正是它们间的相互配合,才能让 MySQL 这样的有状态服务有条件运行在 k8s 之上。

5077e61048afe94cebbe91f5d2fa21e5.png

ConfigMap

为了便于维护应用配置,大型系统和分布式应用常常采用集中式的配置管理策略。在 k8s 环境下,用户可以通过 ConfigMap 将配置和 pod 分离,这有助于保持工作负载的可移植性,使其配置更易于更改和管理。

样例包含一个名为mysql的 ConfigMap,当 StatefulSet 中的 pod 启动时,会根据自己的角色从 ConfigMap 中读取合适的配置。

Headless Service

Headless Service 会为关联的每一个 pod 提供对应的 DNS 地址,格式为.。这样,客户端就可以自由地选择想要访问的应用实例,同时也能够解决分布式环境下不同实例之间身份识别的问题。

样例包含一个名为mysql的 Headless Service,该 service 与 StatefulSet 中的 pod 相关联,这些 pod 将被分配如下 DNS 地址mysql-0.mysql、mysql-1.mysql、mysql-2.mysql。这样,客户端就可以通过mysql-0.mysql访问 master 节点,通过mysql-1.mysql或mysql-2.mysql访问 slave 节点。

ClusterIP Service

为了方便只读场景下的访问,样例提供了一个名为mysql-read的普通 service。该 service 拥有自己的 cluster IP,并会将请求分发至关联的 pod(包括 master 和 slave),为用户屏蔽 pod 的访问细节。

StatefulSet

StatefulSet 是服务部署的关键,它管理的每个 pod 会被分配一个唯一的名称,格式为-。样例中的 StatefulSet 名为mysql,因此这些 pod 分别被命名为mysql-0,mysql-1和mysql-2。默认情况下,它们会按顺序创建,并按逆序销毁。

如下图所示,一个 pod 包含 2 个 init container 和 2 个 app container,并且通过唯一的 PersistentVolumeClaim 和存储卷供应方提供的 PersistentVolume 绑定。

b4823da1e97aed33b75f8bbf9b6ba366.png

和 Pod 相关的各个组件的功能如下:

  • 容器init-mysql的主要功能是生成配置文件。它会从 hostname 中提取 pod 序号,并将该序号存入文件/mnt/conf.d/server-id.cnf中。另外,它还会根据节点类型将 master.cnf 或 slave.cnf 从 ConfigMap 中拷贝到/mnt/conf目录下。
  • 容器clone-mysql的主要功能是克隆数据。Pod 编号为N+1的clone-mysql会将数据从编号为N的 pod 中克隆至绑定的 PersistentVolume 里。
  • Init container 运行完成后,app container 开始运行。容器mysql负责运行着真正的 mysqld 服务。
  • 容器xtrabackup以 sidecar 模式运行。当它发现容器mysql中的 mysqld 就绪后,会通过命令START SLAVE启动 slave 节点的数据复制流程。另外,它还会监听来自其它 pod 的数据克隆请求。
  • StatefulSet 通过 volumeClaimTemplates 为每一个 pod 关联了一个独有的 PVC,样例中编号为N的 pod 关联了名为data-mysql-N的 PVC,而这个 PVC 又会和存储系统提供的 PV 绑定。正是这种机制,保证了 pod 被重新调度后仍然能挂载原有的数据。

服务运维

为了保证服务性能、提升系统可靠性,部署工作完成后还需要相应的运维支撑。对于数据库服务,常见的运维工作包括服务故障恢复、服务扩容缩容、服务状态监控、数据备份恢复等。

服务故障恢复

服务在遇到故障时能否自愈,是判断一个系统自动化程度的关键指标。在当前架构下,MySQL 服务在遇到宿主机宕机,master 或 slave 节点崩溃等问题时能自动恢复。在上述问题发生后,k8s 会重新调度遇到问题的 pod,让其重新运行。由于使用了 StatefulSet,这些 pod 的名称、主机名和存储会与原来保持一致。

服务扩容缩容

在 MySQL 一主多从复制模型下,扩容缩容意味着调整 slave 节点个数。得益于 StatefulSet 对 pod 启动、销毁顺序的保证,通过如下命令就可以轻松实现服务的扩容缩容。

kubectl scale statefulset mysql --replicas=

服务状态监控

要保证服务的稳定性离不开对服务运行状态的监控。除了通过就绪探针和活性探针检测服务是否正常外,往往还需要更细粒度的监控指标。用户可以借助 mysqld-exporter 将 MySQL 的核心指标暴露给 prometheus,然后基于 prometheus 做监控告警。对于 mysqld-exporter,推荐以 sidecar 模式和 mysqld 容器部署在同一个 pod 中。

数据备份恢复

数据的备份和恢复是保障数据安全的有效手段。这里,用户可以直接使用存储卷暴露的接口或者利用 VolumeSnapshot 功能完成数据的备份恢复工作,下面分别进行介绍。

使用存储卷接口

许多存储卷供应方都提供了保存数据快照和基于快照恢复数据的功能,这些功能通常以接口的形式暴露给用户。采样这种方式要求用户熟悉对应存储卷供应方提供的操作接口。例如服务选用了阿里云云盘作为外部存储卷,需要用户了解云盘提供的快照接口。

使用 VolumeSnapshot

K8s v1.12 引入了 3 个快照相关的资源对象VolumeSnapshot、VolumeSnapshotContent、VolumeSnapshotClass,通过它们提供了快照操作的标准方法。这样,用户可以在不感知外部存储卷的情况下,为存放 MySQL 数据的存储卷创建快照,或者基于快照恢复数据。

相比直接使用底层存储卷接口,使用 VolumeSnapshot 显然是更为理想的方法。但目前 VolumeSnapshot 还处在 Alpha 阶段,支持标准快照操作的外部存储卷也有限,这些都限制了当下 VolumeSnapshot 的应用场景。想进一步了解 VolumeSnapshot 可参考文档 Volume Snapshots。

使用 Operator 部署 MySQL

虽然用户可以基于 StatefulSet 在 k8s 中部署运维一套高可用 MySQL 服务,但过程相对复杂。用户既要熟悉各种 k8s 资源对象,又要学习很多 MySQL 的操作细节,同时还需维护一套复杂的管理脚本。为了降低在 k8s 中部署复杂应用的门槛,诞生了 Kubernetes Operator。

Operator 简介

Operator 是由 CoreOS 公司推出的,用来打包、部署和管理需要运行在 k8s 之上的复杂应用的一种方法。Operator 将运维人员对软件操作的知识代码化,同时综合运用 k8s 各种资源对象来实现复杂应用的部署和运维。

Operator 通过 CustomResourceDefinition 为服务定义了新的资源对象,同时通过自定义控制器来保证应用处于预期状态。

742d26d73a5ae8e19f6c4963294b2d5f.png

Operator 的工作流程可抽象成以下三个步骤:

  1. Observe - 通过 k8s API 观察目标对象的状态。
  2. Analyze - 分析当前状态与期望状态的差别。
  3. Act - 执行编排操作,将当前状态调整为期望状态。

Oracle MySQL Operator

对于 MySQL 服务,已经有很多优秀的开源 Operator 解决方案,包括 grtl/mysql-operator、oracle/mysql-operator、presslabs/mysql-operator、kubedb/mysql 等。本节将要介绍的 Oracle MySQL Operator 便是这些开源解决方案的典型代表。

Oracle MySQL Operator 工作原理

Oracle MySQL Operator 支持以下 2 种 MySQL 部署模式。

  • Primary - 服务由一个可读写的主节点和多个只读的从节点组成。
  • Multi-Primary - 集群中各节点角色相同,没有主从的概念,每个节点都可以处理用户的读写请求。

下图展示了 Multi-Primary 模式下 Operator 的工作原理。

419e66388225f0369b9bafe18c3809bc.png

下列流程是理解 Operator 工作原理的关键:

  1. 使用 k8s 的 CustomResourceDefinition(CRD) 定义若干和 MySQL 部署运维相关的资源对象。
  • mysqlclusters - 用于描述集群的期望状态,包括部署模式、节点个数等。
  • mysqlbackups - 用于描述按需备份策略,可以配置备份数据的存放地点,如 AWS S3。
  • mysqlrestores - 用于描述数据恢复策略,需要配置备份数据和目标集群。
  • mysqlbackupschedules - 用于描述定期备份策略,可以配置备份的时间间隔。
  1. 在 k8s 中部署一个 Operator 实例,该 Operator 会持续监听针对这些资源对象的 CRUD 操作,并观察对象状态。
  2. 当用户执行了某项操作,例如创建一个 MySQL 集群时,一个新的 MySQLCluster 资源对象会被创建。当 operator 监听到了 MySQLCluster 的创建事件后,会根据用户配置创建符合需求的集群。这里创建了一个基于 Group Replication 的高可用 MySQL 集群,使用了 StatefulSet、Headless service 等原生 k8s 资源对象。
  3. 当 Operator 观察到 MySQLCluster 的当前状态与期望状态存在差别时,会执行相应的编排操作,保证状态的一致性。

服务部署

得益于 Operator 对复杂部署细节的封装,现在创建一个集群变得非常简单。例如,通过如下配置就可以部署一个包含 3 个节点的 MySQL Multi-Primary 集群。

apiVersion: mysql.oracle.com/v1alpha1kind: Clustermetadata: name: mysql-multimaster-clusterspec: multiMaster: true members: 3

服务运维

在 Operator 模式下,同样会涉及服务故障恢复、服务扩容缩容、服务状态监控、数据备份恢复等运维工作。

服务故障恢复

由于 StatefulSet 的存在,当某个 MySQL 服务实例崩溃时,k8s 会对其重新调度。另外,如果 StatefulSet 被误删,Operator 也会对其进行重建。

服务扩容缩容

通过更改资源对象 MySQLCluster 的字段spec.members可以轻松实现服务扩容缩容。这里只对用户暴露了 MySQLCluster,屏蔽了底层 k8s 资源对象。

服务状态监控

可以在 k8s 中部署 Prometheus 监控 Operator 和各个 MySQL 集群的状态。具体步骤可参考文档 Monitoring。

数据备份恢复

可以通过资源对象 MySQLBackup、MySQLRestore 对数据进行备份和恢复,为用户屏蔽了不同存储卷操作上的差别。另外,还可以通过 MySQLBackupSchedule 创建定时备份任务。

例如,以下配置可以每隔 30 分钟对 MySQL 集群mysql-cluster的数据库test进行备份。

[...]kind: BackupSchedulespec: schedule: '*/30 * * * *' backupTemplate: cluster: name: mysql-cluster executor: provider: mysqldump databases: - test[...]总结

本文分别介绍了通过原生 k8s 资源对象 StatefulSet 以及通过 MySQL Operator 部署运维一套高可用 MySQL 服务的方法和原理。可以看到 Operator 屏蔽了复杂应用的编排细节,大大降低了它们在 k8s 中的使用门槛。如果您有其它复杂应用需要部署,建议采用 Operator 方式。

参考资料
  • 亲历者说:Kubernetes API 与 Operator,不为人知的开发者战争

https://yq.aliyun.com/articles/685522

  • Running MySQL on Kubernetes using an operator

https://banzaicloud.com/blog/mysql-on-kubernetes/

扩展阅读
  • K8s 应用管理之道 - 升级篇(一)

https://yq.aliyun.com/articles/688626

  • K8s 应用管理之道 - 升级篇(二)

https://yq.aliyun.com/articles/688627

作者:吴波bruce_wu



推荐阅读
  • 对象存储与块存储、文件存储等对比
    看到一篇文档,讲对象存储,好奇,搜索文章,摘抄,学习记录!背景:传统存储在面对海量非结构化数据时,在存储、分享与容灾上面临很大的挑战,主要表现在以下几个方面:传统存储并非为非结 ... [详细]
  • 深入解析:存储技术的演变与发展
    本文探讨了从单机文件系统到分布式文件系统的存储技术发展过程,详细解释了各种存储模型及其特点。 ... [详细]
  • 本文介绍了SIP(Session Initiation Protocol,会话发起协议)的基本概念、功能、消息格式及其实现机制。SIP是一种在IP网络上用于建立、管理和终止多媒体通信会话的应用层协议。 ... [详细]
  • 本文探讨了一种统一的语义数据模型,旨在支持物联网、建筑及企业环境下的数据转换。该模型强调简洁性和可扩展性,以促进不同行业间的插件化和互操作性。对于智能硬件开发者而言,这一模型提供了重要的参考价值。 ... [详细]
  • Redis:缓存与内存数据库详解
    本文介绍了数据库的基本分类,重点探讨了关系型与非关系型数据库的区别,并详细解析了Redis作为非关系型数据库的特点、工作模式、优点及持久化机制。 ... [详细]
  • 8个IDC大数据基础定义解析丨IDC
    本文针对IDC数据行业相关名词术语进行解析,分为4组相关概念,希望大家读完 ... [详细]
  • H5技术实现经典游戏《贪吃蛇》
    本文将分享一个使用HTML5技术实现的经典小游戏——《贪吃蛇》。通过H5技术,我们将探讨如何构建这款游戏的两种主要玩法:积分闯关和无尽模式。 ... [详细]
  • 本文探讨了在一个物理隔离的环境中构建数据交换平台所面临的挑战,包括但不限于数据加密、传输监控及确保文件交换的安全性和可靠性。同时,作者结合自身项目经验,分享了项目规划、实施过程中的关键决策及其背后的思考。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • 本文介绍了如何利用X_CORBA实现远程对象调用,并通过多个示例程序展示了其功能与应用,包括基础的Hello World示例、文件传输工具以及一个完整的聊天系统。 ... [详细]
  • 深入探讨:Actor模型如何解决并发与分布式计算难题
    在现代软件开发中,高并发和分布式系统的设计面临着诸多挑战。本文基于Akka最新文档,详细探讨了Actor模型如何有效地解决这些挑战,并提供了对并发和分布式计算的新视角。 ... [详细]
  • 协程作为一种并发设计模式,能有效简化Android平台上的异步代码处理。自Kotlin 1.3版本引入协程以来,这一特性基于其他语言的成熟理念,为开发者提供了新的工具,以增强应用的响应性和效率。 ... [详细]
  • 如题:2017年10月分析:还记得在没有智能手机的年代大概就是12年前吧,手机上都会有WAP浏览器。当时没接触网络原理,也不 ... [详细]
  • 本文总结了近年来在实际项目中使用消息中间件的经验和常见问题,旨在为Java初学者和中级开发者提供实用的参考。文章详细介绍了消息中间件在分布式系统中的作用,以及如何通过消息中间件实现高可用性和可扩展性。 ... [详细]
  • 近年来,区块链技术备受关注,其中比特币(Bitcoin)功不可没。尽管数字货币的概念早在上个世纪就被提出,但直到比特币的诞生,这一概念才真正落地生根。本文将详细探讨比特币、以太坊和超级账本(Hyperledger)的核心技术和应用场景。 ... [详细]
author-avatar
灬段裝丶緈褔_998
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有