简介:本文将介绍如何使用 ACK Distro 作为基础镜像打造 CNStack 社区版以及CNStack 社区版中的容器服务 ACK 敏捷版产品如何帮助用户更好的使用容器平台能力。
作者:临石
CNStack 社区版(CNStack Community Edition, CNStack CE)是阿里云云原生 Stack(CNStack)产品家族中的一员。CNStack 社区版可以免费下载使用,支持在有限的资源上进行部署和运行。CNStack 社区版使用 sealer 进行打包和交付,采用容器服务 ACK 发行版(ACK Distro)作为 Kubernetes 基础。
本文将介绍:(1)如何使用 ACK Distro 作为基础镜像打造 CNStack 社区版。您可以将这个过程看做是以 ACK Distro 为基础镜像,利用 sealer 打包和交付应用的一个例子(2)CNStack 社区版中的容器服务 ACK 敏捷版产品如何帮助用户更好的使用容器平台能力。
容器服务 ACK 敏捷版是第一个集成到 CNStack 社区版的阿里云云原生产品。
当前 CNStack 社区版发布的内容包括了“容器服务 ACK 敏捷版”部分,使用 sealer 的集群镜像技术对产品进行打包和交付。ACK Distro 和容器服务 ACK 敏捷版组成的 CNStack 社区版集群镜像结构如下。
CNStack 社区版采用 ACK Distro 作为 Kubernetes 基础镜像,通过 sealer 打包新的集群镜像。
社区版集群通过集群镜像文件 Kubefile 完成了以下工作:
Kubefile 内容如下:
# 采用ack-distro:v1.20.4-ack-2作为基础镜像
FROM ack-agility-registry.cn-shanghai.cr.aliyuncs.com/ecp_builder/ackdistro:v1.20.4-ack-2
COPY imageList manifests
COPY kubeadm-cluster-config.yaml.tmpl etc
# 部署/清理阶段的prehook和posthook
COPY plugin_localpv.yaml plugin
COPY plugin_iptables.yaml plugin
COPY plugin_clean.yaml plugin
# 组件的chart和配置文件
COPY ../component/charts/localpv charts
COPY ../component/charts/aecp-installer-operator charts
COPY ../component/charts/aecp charts
COPY ../component/charts/cluster-addon-configuration charts
COPY ../component/clusterconfig.yaml manifests
# 部署组件
CMD helm install localpv charts/localpv
CMD helm install aecp-installer-operator charts/aecp-installer-operator
CMD helm install aecp charts/aecp
# 基于ACK-Distro部署的集群,针对ACK敏捷版进行配置
CMD kubectl create ns cluster-local
CMD kubectl -n kube-system scale deploy hybridnet-webhook --replicas=1
CMD kubectl -n kube-system scale deploy hybridnet-manager --replicas=1
CMD kubectl taint nodes $(hostname | tr A-Z a-z) node-role.kubernetes.io/master=:NoSchedule-
CMD kubectl label nodes $(hostname | tr A-Z a-z) lb=nginx
CMD kubectl label nodes $(hostname | tr A-Z a-z) addon-local-repo=true
# 等待组件ready。视机器性能不同,等待时间有差别,在我们的测试场景中,约3min左右结束
CMD for i in `seq 0 1 2000`;do if kubectl get addonconfiguration 2> /dev/null;then helm install cluster-addon-configuration charts/cluster-addon-configuration && break;fi; echo "wait CRD ready ... $i out of 2000 tries" && sleep 1; done
CMD kubectl apply -f manifests/clusterconfig.yaml
# 基础功能需要适配无数据盘的场景,因此没有使用本地存储池功能 opne-local。在后面的Clusterfile部署方式中,可以再次开启
CMD helm uninstall -n kube-system open-local
这里介绍一下 CNStack 社区版在基于 ACK Distro 构建集群镜像时使用的几个主要功能:
集群部署开始前、部署结束后、清理后执行的 hook 可以通过 plugin 插件实现。以 plugin_localpv.yaml 为例,通过.spec.action: PreInit 声明上述动作是在集群部署开始前执行,动作内容描述在 data 中。data 描述中所创建的目录是为 CNStack 社区版不使用额外数据盘场景下使用的,供应用容器挂载 hostpath 的 volume 使用。注意这些目录仅会在用户没有使用 open-local 组件时使用,如果使用 open-local ,CNStack 社区版的组件将使用 open-local 提供的动态存储资源池中的本地存储(后续章节会介绍如何使用)。plugin_localpv.yaml 内容如下:
apiVersion: sealer.aliyun.com/v1alpha1
kind: Plugin
metadata:
name: prepare_local_dir # Specify this plugin name,will dump in $rootfs/plugin dir.
spec:
type: SHELL
action: PreInit # PreInit PreInstall PostInstall
data: |
rm -rf /var/lib/cnstackce
rm -rf /opt/aecp
vgremove open-local-pool-0 --force || echo "No vg: open-local-pool-0 found. OK"
mkdir -p /var/lib/cnstackce/data/storage-loki-0
mkdir -p /var/lib/cnstackce/data/addon-package-standard-pv
mkdir -p /var/lib/cnstackce/data/caas-api-pv
mkdir -p /var/lib/cnstackce/data/caas-core-pv
mkdir -p /var/lib/cnstackce/data/caas-db-caas-db-0
mkdir -p /var/lib/cnstackce/data/grafana-pv
mkdir -p /var/lib/cnstackce/data/prometheus-k8s-db-prometheus-k8s-0
touch /var/lib/cnstackce/data/checker
容器服务 ACK 敏捷版的所有组件都是以 helm 形式部署的,在 Kubefile 中仅需要体现为(1)将 helm chart 拷贝到 charts 目录;(2)在部署时执行 helm install。由 ecp-installer 根据 manifests/clusterconfig.yaml 中声明的参数自动部署其它容器服务 ACK 敏捷版组件。
最后,在 Kubefile 中通过 CMD 声明在集群部署完成后对集群进行一些配置,例如节点打标(帮助容器服务 ACK 敏捷版选择 LB 节点和 ingress 入口)、去掉污点等操作。
CNStack 社区版的 build 工程目录如下,整个目录可在文末获取。
[root@cnstackcebuilder]~# tree charts -L 3
charts
├── build-cnstack-ce
│ ├── build.sh
│ ├── imageList
│ ├── kubeadm-cluster-config.yaml.tmpl
│ ├── Kubefile
│ ├── plugin_clean.yaml
│ ├── plugin_iptables.yaml
│ ├── plugin_localpv.yaml
│ └── readme.md
└── component
├── charts
│ ├── aecp
│ ├── aecp-installer-operator
│ ├── cluster-addon-configuration
│ └── localpv
└── clusterconfig.yaml
在 charts/build-cnstack-ce 下直接运行 bash build.sh test001(test001是 tag 名称),sealer 工具将自动被下载和打包集群镜像,可以通过 sealer images 查询构建结果。
前一个章节介绍生成的集群镜像,可以在单机版环境上直接一键部署:
# 获取sealer工具
wget -c "http://sealer.oss-cn-beijing.aliyuncs.com/sealers/sealer-v0.5.2-linux-amd64.tar.gz" && tar -xvf sealer-v0.5.2-linux-amd64.tar.gz -C /usr/bin
sealer run registry.cn-qingdao.aliyuncs.com/sealer-apps/cnstack-ce:1.1.0 -m `hostname -i` -p $passwd
上述集群镜像直接部署得到的集群,包括 CNStack 社区版的基础功能集。专有云产品的用户,根据自身需求不同,可能对产品使用体验有着不同的要求:
回到我们刚刚制作的集群镜像,基础功能集仅需要用户准备一个 8C12G 的虚拟机,无需额外的数据盘,即可完成部署。(基础功能集不包括监控、日志、弹性等高级功能。)ACK Distro 强大的地方在于,可以通过 sealer 配置 Clusterfile,开启 ACK Distro 中 open-local 动态存储池管理的能力,并在修改集群镜像中默认的容器服务 ACK 敏捷版配置,部署出具备监控、日志、弹性等高级能力的全功能集版本。
当前 CNStack 社区版提供了 3 种部署规格,如下表格:
表格:CNStack 社区版当前的部署规模。
下面我们介绍如何通过修改 Clusterfile 开启全功能集。
首先为开启 open-local,需要在各个节点上配置 vg 资源。
apiVersion: sealer.aliyun.com/v1alpha1
kind: Plugin
metadata:
name: prepare_vg # Specify this plugin name,will dump in $rootfs/plugin dir.
spec:
type: SHELL
action: PreInit # PreInit PreInstall PostInstall
# init data disk for open-local-lvm
# VG_DEV must be set as an available data disk name (lsblk -p), e.g. VG_DEV=/dev/vdb
data: |
VG_DEV=#DataDiskDeviceName#
yum install lvm2 -y
vgremove open-local-pool-0 --force || echo "no open-local-pool-0 found, volume group Cleaning OK..."
echo "start vgcreate. device name: $VG_DEV"
vgcreate open-local-pool-0 $VG_DEV
if [ $? -ne 0 ];then echo "vgcreate failed" && exit 1;fi
echo "vg preparation done with success."
在 CNStack 集群镜像中我们关闭了 open-local 并将 StorageClass 配置为 manual,所以需要在 Clusterfile 通过 PostInstall Plugin 重新部署 open-local,以及配置新的 StorageClass。
apiVersion: sealer.aliyun.com/v1alpha1
kind: Plugin
metadata:
name: install-open-local # Specify this plugin name,will dump in $rootfs/plugin dir.
spec:
type: SHELL
action: PostInstall # PreInit PreInstall PostInstall
'on': $MASTER_IP_1
# install open-local
data: |
helm uninstall localpv
helm install -n kube-system open-local charts/open-local
容器服务 ACK 敏捷版的组件部署开关和参数配置可以通过 Config 对象 overwrite 集群镜像中的对应配置,以将容器服务 ACK 敏捷版组件的 SC 修改为 open-local 为例:
apiVersion: sealer.aliyun.com/v1alpha1
kind: Config
metadata:
name: cluster-addon-sc
spec:
path: charts/cluster-addon-configuration/values.yaml
data: |
dataStorageClass: open-local-lvm
从上面的例子可以看出,部署规格的灵活性并不是简单的子功能增加和删减 —— 不负责任的组合会导致无穷的交付和运维风险。CNStack 社区版提供的规格是经过设计验证,并且在部署流程、资源规划方面都进行了优化的方案,您放心使用。
得益于 sealer、ACK Distro、以及上层组件的灵活性,CNStack 社区版还有更多可以定制的维度,比如更加灵活的产品功能组合,适配不同规模业务的产品配置等,会在未来陆续发布。
容器平台是用户应用与 IaaS 交互的新界面,对上负责应用的发布和维护,对下负责基础设施的资源管理,将用户数据中心中的异构基础设施抽象为更有利于云原生最佳实践落地的基础设施。业内种种最佳实践:观测、容灾、成本优化、微服务管理、AI 等很多先进的 IT 解决方案,都离不开一个“符合预期”、可靠的云原生基础设施。
图:CNStack 产品能力
图中的容器服务 ACK 敏捷版的能力之一,就是帮助用户搭建可靠的云原生基础设施。经过几年时间无数客户的专有云的服务经历,容器服务 ACK 敏捷版在搭建云原生基础设施方面,总结出了一系列关键经验,在 CNStack 社区版中在以下两个方面进行了着重落实:
良好的交付体验
售卖时天花乱坠,交付时一周起步,是专有云里面困扰用户的头等问题之一。繁琐的操作流程,复杂到只有资深工程师才可能搞清楚的功能依赖,文本很长却没有任何信息量的错误提示,以及没有明确的验收标准,是我们在专有云交付场景中遇到的主要问题。CNStack 社区版中,我们以 sealer 作为打包和交付工具 ,借助 ACK Distro 适配多种 IaaS 的能力,明确各阶段部署任务的边界,做到了最小功能集版本一键部署,高阶特性通过 Clusterfile 一个文件描述&快一键部署。
适配用户 IaaS
考虑到用户在 IT 设备上的投入周期和决策的复杂性,让 CNStack 社区版能够运行在主流环境上部署和流畅运行是我们追求的目标。适配用户 IaaS 包含两方面含义:
如果将 ACK Distro 以及其中的存储、网路组件比作我们提供的工具,在不同的能工巧匠手中可以独立发挥作用,那么 CNStack 社区版中的容器服务 ACK 敏捷版就是一个精心打造的工具箱,为用户提供开箱即用的、能够适配用户 IaaS 的容器平台服务。我们从经典的计算、存储、网络三个维度,来描述容器服务 ACK 敏捷版在适配 IaaS 方面的工作以为帮助用户维持用云习惯的努力:
与公有云基础设施有完善、稳定的 API 不同,用户 IaaS 因为 IaaS 供应商、版本、合规要求、运维习惯等,有着不同基础设施调用 API 和不同的配置要求。容器服务 ACK 敏捷版截止到目标适配了阿里云、华为云、电信云、易捷行云 EasyStack、VMWare、ZStack 等(注:社区版中目前仅在 ECS/物理机的 CentOS 上经历了充分测试,更多适配将在后续版本引入)
CNStack 社区版帮助用户管理基础设施以及发布和运维运行在基础设施上的应用。容器服务 ACK 敏捷版提供了应用运维、集群运维、平台管理三个方面的能力赋能用户。受限于篇幅,我们将简单介绍功能列表,未来会有专门的文章为您详细介绍这些功能。
下一篇文章我们会详细介绍这些功能,敬请期待。
通过云原生技术方案服务企业的数字化转型是 CNStack 的使命,目前 CNStack 社区版通过 sealer、ACK Distro 和容器服务 ACK 敏捷版,能够帮助用户搭建以云原生底座为核心的基础设施,并进行平台和应用的管理。但用户想享受更多云原生带来的便利,还需要更多的中间产品例如 EDAS(应用管理)、消息队列、监控,以及更多的解决方案,如边缘、AI、大数据等。随着 CNStack 社区版的不断更新,我们将陆续为用户带来更多的能力,方便用户接触到我们的产品和服务。
原文链接
本文为阿里云原创内容,未经允许不得转载。