热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

使用kind搭建kubernetes

使用kind搭建kuberneteskind是一个非常方便的用于创建kubernetes测试集群的工具,可以使用kind创建的集群来对kubernetes进行测试。kind架

使用kind搭建kubernetes

目录
  • 使用kind搭建kubernetes
    • kind架构
    • 创建集群
    • 将镜像加载到kind的node中
    • 配置kind集群
      • 配置多节点
      • 多控制面
      • 指定Kubernetes的版本
      • 将node的端口映射到主机
    • ingress部署
      • 创建集群
      • 部署ingress控制器
        • 测试ingress
    • 总结:
    • FAQ:

kind是一个非常方便的用于创建kubernetes测试集群的工具,可以使用kind创建的集群来对kubernetes进行测试。

kind架构

kind的架构如下,它将docker容器作为一个kubernetes的"node",并在该"node"中安装kubernetes组件。

虚拟机和kind的一个"node"之间的网络模型如下,多"node"之间的通信走bridge即可。

虚拟机到node容器使用了docker的bridge网络(见下面的kind网桥)

# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
0912809efeab        bridge              bridge              local
3b3ab0cdd358        host                host                local
198d0909f9cf        kind                bridge              local
b0e304ef061c        none                null                local

在kind的"node"内部则默认使用了ptp模型,该模型的通信机制比较简单,容器和"node"直接通过一对veth进行通信。

# cat /etc/cni/net.d/10-kindnet.conflist
{
        "cniVersion": "0.3.1",
        "name": "kindnet",
        "plugins": [
        {
                "type": "ptp",
                "ipMasq": false,
                "ipam": {
                        "type": "host-local",
                        "dataDir": "/run/cni-ipam-state",
                        "routes": [
                                {
                                        "dst": "0.0.0.0/0"
                                }
                        ],
                        "ranges": [
                        [
                                {
                                        "subnet": "10.244.0.0/24"
                                }
                        ]
                ]
                }
                ,
                "mtu": 1500

        },
        {
                "type": "portmap",
                "capabilities": {
                        "portMappings": true
                }
        }
        ]
}

"node"内的路由如下:10.244.0.2~0.4的地址就是"node"中的容器的eth0网卡上的地址,通过位于"node"上的veth进行通信。但"node"中的容器并不都是使用ptp网络模型,如kubernetes的apiserver,scheduler和controller-manager就是用了host模式。

# ip route
default via 172.18.0.1 dev eth0
10.244.0.2 dev vethc85f5947 scope host
10.244.0.3 dev vetheb946a41 scope host
10.244.0.4 dev veth46c994ce scope host
172.18.0.0/16 dev eth0 proto kernel scope link src 172.18.0.2

创建集群

  • 安装kubectl

  • 安装kind命令:

    curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.9.0/kind-linux-amd64
    chmod +x ./kind
    mv ./kind /${some-dir-in-your-PATH}/kind
    
  • 创建集群,默认的集群名称为kind,可以使用参数--name指定创建的集群的名称,多集群情况下比较有用

    kind create cluster
    

    也指定node镜像来创建集群,便于离线安装

    kind create cluster --image kindest/node:latest
    
  • 与集群交互:

    1. 获取集群名称,可以看到下面有两个集群

      # kind get clusters
      kind
      kind-2
      
    2. 切换集群。可以使用如下命令分别切换到集群kindkind-2

      # kubectl cluster-info --context kind-kind
      # kubectl cluster-info --context kind-kind-2
      
  • 删除集群,如使用如下命令可以删除集群kind-2

    kind delete cluster --name kind-2
    

将镜像加载到kind的node中

kind创建的kubernetes会使用它的node上的镜像,因此需要将将镜像加载到node中才能被kubernetes使用(当然在node中也是可以直接拉取公网镜像的),在无法拉取公网镜像的时候可以手动将镜像load到node上使用。例如,使用如下方式可以将nginx镜像加载到名为kind的集群中:

# kind load docker-image nginx --name kind
Image: "nginx" with ID "sha256:7e4d58f0e5f3b60077e9a5d96b4be1b974b5a484f54f9393000a99f3b6816e3d" not yet present on node "kind-control-plane", loading...

配置kind集群

可以在kind创建集群的时候使用配置文件进行自定义配置。例如可以使用--config指定配置文件来创建集群:

kind create cluster --config kind-example-config.yaml

配置多节点

上面部署的kubernetes中只有一个node,可以使用配置文件部署多个节点。下面使用官方提供的默认配置文件kind-config.yaml来创建集群,该集群含3个work节点:

# this config file contains all config fields with comments
# NOTE: this is not a particularly useful config file
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
# patch the generated kubeadm config with some extra settings
kubeadmConfigPatches:
- |
  apiVersion: kubelet.config.k8s.io/v1beta1
  kind: KubeletConfiguration
  evictionHard:
    nodefs.available: "0%"
# patch it further using a JSON 6902 patch
kubeadmConfigPatchesJSON6902:
- group: kubeadm.k8s.io
  version: v1beta2
  kind: ClusterConfiguration
  patch: |
    - op: add
      path: /apiServer/certSANs/-
      value: my-hostname
# 1 control plane node and 3 workers
nodes:
# the control plane node config
- role: control-plane
# the three workers
- role: worker
- role: worker
- role: worker

创建上述集群:

# kind create cluster --name multi-node --cOnfig=kind-config.yaml

切换到该集群:

# kubectl cluster-info --context kind-multi-node

可以看到该集群下有1个控制面node,以及3个work node:

# kubectl get node
NAME                       STATUS   ROLES    AGE     VERSION
multi-node-control-plane   Ready    master   7m57s   v1.19.1
multi-node-worker          Ready       7m21s   v1.19.1
multi-node-worker2         Ready       7m21s   v1.19.1
multi-node-worker3         Ready       7m21s   v1.19.1

多控制面

一般一个生产使用的kubernetes都会使用多个控制面来保证高可用,使用kind config可以方便地创建多控制面的kubernetes集群。使用如下命令创建一个3控制面,3 work节点的集群:

# this config file contains all config fields with comments
# NOTE: this is not a particularly useful config file
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
# patch the generated kubeadm config with some extra settings
kubeadmConfigPatches:
- |
  apiVersion: kubelet.config.k8s.io/v1beta1
  kind: KubeletConfiguration
  evictionHard:
    nodefs.available: "0%"
# patch it further using a JSON 6902 patch
kubeadmConfigPatchesJSON6902:
- group: kubeadm.k8s.io
  version: v1beta2
  kind: ClusterConfiguration
  patch: |
    - op: add
      path: /apiServer/certSANs/-
      value: my-hostname
# 1 control plane node and 3 workers
nodes:
# the control plane node config
- role: control-plane
- role: control-plane
- role: control-plane
# the three workers
- role: worker
- role: worker
- role: worker

此时可以看到有3个控制面:

# kubectl get node
NAME                  STATUS   ROLES    AGE   VERSION
kind-control-plane    Ready    master   15m   v1.19.1
kind-control-plane2   Ready    master   14m   v1.19.1
kind-control-plane3   Ready    master   13m   v1.19.1
kind-worker           Ready       12m   v1.19.1
kind-worker2          Ready       12m   v1.19.1
kind-worker3          Ready       12m   v1.19.1

指定Kubernetes的版本

可以通过指定node的镜像版本来修改kubernetes的版本。可以在官方release页面中中查找需要镜像tag,推荐tag带上sha,如

kindest/node:v1.19.1@sha256:98cf5288864662e37115e362b23e4369c8c4a408f99cbc06e58ac30ddc721600

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  image: kindest/node:v1.16.4@sha256:b91a2c2317a000f3a783489dfb755064177dbc3a0b2f4147d50f04825d016f55
- role: worker
  image: kindest/node:v1.16.4@sha256:b91a2c2317a000f3a783489dfb755064177dbc3a0b2f4147d50f04825d016f55

将node的端口映射到主机

可以通过如下方式将node的端口映射到主机,将容器的80端口映射到host的80端口:

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  extraPortMappings:
  - containerPort: 80
    hostPort: 80
    listenAddress: "0.0.0.0" # Optional, defaults to "0.0.0.0"
    protocol: udp # Optional, defaults to tcp

kind对cluster的更新(如启用IPv6,配置nodeport等)有一个弊端,就是只能通过重新创建集群来"更新"配置。目前官方不支持对控制面的更新操作,可以参见该issue。更多配置参见官方文档。

ingress部署

可以通过KIND的extraPortMapping配置选项来将流量从主机转发到node的ingress控制器上。

可以通过kubeadm的InitConfiguration来设置自定义的node-labels,用于ingress控制器的nodeSelector

创建集群

使用extraPortMappingsnode-labels创建一个集群。

cat <

部署ingress控制器

kind支持的ingress控制器如下:

  • Ambassador
  • Contour
  • Ingress NGINX

下面部署NGINX ingress。

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/kind/deploy.yaml

在部署ingree的过程中可能会遇到无法找到secret ingress-nginx-admission的问题,出现该问题的原因可能是因为如下两个job无法正常启动造成的,参见该issue。如果是因为无法拉取外网镜像,可以先将deploy.yaml文件下载到本地,将镜像手动加载到本地主机上,然后使用上面提到的kind load docker-image命令将镜像加载到node上即可。

测试ingress

创建如下资源:kubectl apply -f usage.yaml

kind: Pod
apiVersion: v1
metadata:
  name: foo-app
  labels:
    app: foo
spec:
  containers:
  - name: foo-app
    image: hashicorp/http-echo:0.2.3
    args:
    - "-text=foo"
---
kind: Service
apiVersion: v1
metadata:
  name: foo-service
spec:
  selector:
    app: foo
  ports:
  # Default port used by the image
  - port: 5678
---
kind: Pod
apiVersion: v1
metadata:
  name: bar-app
  labels:
    app: bar
spec:
  containers:
  - name: bar-app
    image: hashicorp/http-echo:0.2.3
    args:
    - "-text=bar"
---
kind: Service
apiVersion: v1
metadata:
  name: bar-service
spec:
  selector:
    app: bar
  ports:
  # Default port used by the image
  - port: 5678
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: example-ingress
spec:
  rules:
  - http:
      paths:
      - path: /foo
        backend:
          serviceName: foo-service
          servicePort: 5678
      - path: /bar
        backend:
          serviceName: bar-service
          servicePort: 5678
---

在远端curl该主机所在上的foo和bar服务,可以看到网络是通的,此时走的是ingress通过kind配置extraPortMappings暴露的nodeport 80端口。

C:\Users\liuch>curl 192.168.100.11/foo
foo

C:\Users\liuch>curl 192.168.100.11/bar
bar

总结:

kind是一个非常方便的kubernetes部署工具,可以快速地部署多个kubernetes集群。但也有一些实现上的瑕疵,比如,kind不支持对集群的升级,手动加载镜像的过程也比较麻烦,但总体使用上来看,瑕不掩瑜。

FAQ:

  • 在切换集群时出现The connection to the server localhost:8080 was refused - did you specify the right host or port?,且使用如kubectl config use-context kind-kind这样的命令也无法成功切换集群。

    可以在/root/.kube/config文件中查看支持的context名称(如下面使用的context为kind-kind),然后使用kubectl config use-context kind-kind即可:

    apiVersion: v1
    clusters:
    - cluster:
        certificate-authority-data: ...
        server: https://127.0.0.1:39923
      name: kind-kind
    contexts:
    - context:
        cluster: kind-kind
        user: kind-kind
      name: kind-kind
    current-context: kind-kind
    kind: Config
    preferences: {}
    users:
    - name: kind-kind
      user:
        client-certificate-data: ...
    
  • kind创建的apiservice默认地址是127.0.0.1,无法远程连接。可以使用如下方式,修改apiservice的地址和端口

    kind: Cluster
    apiVersion: kind.x-k8s.io/v1alpha4
    networking:
      # WARNING: It is _strongly_ recommended that you keep this the default
      # (127.0.0.1) for security reasons. However it is possible to change this.
      apiServerAddress: "192.168.118.154"
      # By default the API server listens on a random open port.
      # You may choose a specific port but probably don\'t need to in most cases.
      # Using a random port makes it easier to spin up multiple clusters.
      apiServerPort: 6443
    
  • 如果kind无法连通,可以查看是否有其他docker network影响


推荐阅读
  • Docker安全策略与管理
    本文探讨了Docker的安全挑战、核心安全特性及其管理策略,旨在帮助读者深入理解Docker安全机制,并提供实用的安全管理建议。 ... [详细]
  • 从理想主义者的内心深处萌发的技术信仰,推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]
  • 本文介绍了SIP(Session Initiation Protocol,会话发起协议)的基本概念、功能、消息格式及其实现机制。SIP是一种在IP网络上用于建立、管理和终止多媒体通信会话的应用层协议。 ... [详细]
  • 根据官方定义,RxJava是一种用于异步编程和可观察数据流的API。其核心特性在于流式处理能力和丰富的操作符支持。 ... [详细]
  • 在Effective Java第三版中,建议在方法返回类型中优先考虑使用Collection而非Stream,以提高代码的灵活性和兼容性。 ... [详细]
  • 本文详细介绍如何在华为鲲鹏平台上构建和使用适配ARM架构的Redis Docker镜像,解决常见错误并提供优化建议。 ... [详细]
  • 本文介绍了实时流协议(RTSP)的基本概念、组成部分及其与RTCP的交互过程,详细解析了客户端请求格式、服务器响应格式、常用方法分类及协议流程,并提供了SDP格式的深入解析。 ... [详细]
  • 本文详细记录了 MIT 6.824 课程中 MapReduce 实验的开发过程,包括环境搭建、实验步骤和具体实现方法。 ... [详细]
  • Docker 环境下 MySQL 双主同步配置指南
    本文介绍了如何在 Docker 环境中配置 MySQL 的双主同步,包括目录结构的创建、配置文件的编写、容器的创建与设置以及最终的验证步骤。 ... [详细]
  • 本文基于Java官方文档进行了适当修改,旨在介绍如何实现一个能够同时处理多个客户端请求的服务端程序。在前文中,我们探讨了单客户端访问的服务端实现,而本篇将深入讲解多客户端环境下的服务端设计与实现。 ... [详细]
  • 本文介绍了如何使用Node.js通过两种不同的方法连接MongoDB数据库,包括使用MongoClient对象和连接字符串的方法。每种方法都有其特点和适用场景,适合不同需求的开发者。 ... [详细]
  • Kubernetes 1.9.0 Alpha.1 发布公告 [Kubernetes 最新动态]
    近日,Kubernetes 社区发布了两个新版本:1.8.0 RC.1 和 1.9.0 Alpha.1。这是 k8s 1.9.0 的首次发布,自 v1.8.0 Alpha.3 以来进行了大量更新,共提交了 279 次。 ... [详细]
  • GreenPlum采纳ShareNothing的架构,良好的施展了便宜PC的作用。自此IO不在是DW(datawarehouse)的瓶颈,相同网络的压力会大很多。然而GreenPlum的查问优化策略可能防止尽量少的网络替换。对于首次接触GreenPlum的人来说,必定耳目一新。 ... [详细]
  • 微服务优雅上下线的最佳实践
    本文介绍了微服务上下线的正确姿势,避免使用 kill -9 等粗暴手段,确保服务的稳定性和可靠性。 ... [详细]
  • 在 CentOS 7 环境中使用 MySQL 5.6 镜像启动数据库时遇到权限问题,本文将详细探讨并提供解决方案。 ... [详细]
author-avatar
哈哈1991188
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有