pod打包原理_7个步骤，教你搞懂K8S网络之Flannel工作原理

原标题&＃xff1a;7个步骤&＃xff0c;教你搞懂 K8S 网络之 Flannel 工作原理

一、Docker 网络模式

在讨论 Kubernetes 网络之前&＃xff0c;让我们先来看一下 Docker 网络。Docker 采用插件化的网络模式&＃xff0c;默认提供 bridge、host、none、overlay、maclan 和 Network plugins 这几种网络模式&＃xff0c;运行容器时可以通过–network 参数设置具体使用那一种模式。

bridge &＃xff1a;这是Docker默认的网络驱动&＃xff0c;此模式会为每一个容器分配Network Namespace和设置IP等&＃xff0c;并将容器连接到一个虚拟网桥上。如果未指定网络驱动&＃xff0c;这默认使用此驱动。

host &＃xff1a;此网络驱动直接使用宿主机的网络。

none &＃xff1a;此驱动不构造网络环境。采用了none 网络驱动&＃xff0c;那么就只能使用loopback网络设备&＃xff0c;容器只能使用127.0.0.1的本机网络。

overlay &＃xff1a;此网络驱动可以使多个Docker daemons连接在一起&＃xff0c;并能够使用swarm服务之间进行通讯。也可以使用overlay网络进行swarm服务和容器之间、容器之间进行通讯&＃xff0c;

macvlan &＃xff1a;此网络允许为容器指定一个MAC地址&＃xff0c;允许容器作为网络中的物理设备&＃xff0c;这样Docker daemon就可以通过MAC地址进行访问的路由。对于希望直接连接网络网络的遗留应用&＃xff0c;这种网络驱动有时可能是最好的选择。

Network plugins &＃xff1a;可以安装和使用第三方的网络插件。可以在Docker Store或第三方供应商处获取这些插件。

在默认情况&＃xff0c;Docker 使用 bridge 网络模式&＃xff0c;bridge 网络驱动的示意图如下&＃xff0c;此文以bridge 模式对 Docker 的网络进行说明。

1.1 bridge网络的构建过程

1)安装Docker时&＃xff0c;创建一个名为 docke0 的虚拟网桥&＃xff0c;虚拟网桥使用“10.0.0.0 -10.255.255.255 “、”172.16.0.0-172.31.255.255″和“192.168.0.0——192.168.255.255”这三个私有网络的地址范围。

通过 ifconfig 命令可以查看 docker0 网桥的信息&＃xff1a;

通过 docker network inspect bridge 可以查看网桥的子网网络范围和网关&＃xff1a;

2)运行容器时&＃xff0c;在宿主机上创建虚拟网卡 veth pair 设备&＃xff0c;veth pair 设备是成对出现的&＃xff0c;从而组成一个数据通道&＃xff0c;数据从一个设备进入&＃xff0c;就会从另一个设备出来。

将veth pair设备的一端放在新创建的容器中&＃xff0c;命名为 eth0&＃xff1b;另一端放在宿主机的docker0中&＃xff0c;以veth为前缀的名字命名。通过 brctl show 命令查看放在docker0中的veth pair设备。

1.2 外部访问

bridge 的 docker0 是虚拟出来的网桥&＃xff0c;因此无法被外部的网络访问。因此需要在运行容器时通过 -p 和 -P 参数对将容器的端口映射到宿主机的端口。实际上 Docker 是采用 NAT的方式&＃xff0c;将容器内部的服务监听端口与宿主机的某一个端口 port 进行绑定&＃xff0c;使得宿主机外部可以将网络报文发送至容器。

1)通过-P参数&＃xff0c;将容器的端口映射到宿主机的随机端口&＃xff1a;

$ docker run -P {images}

2)通过-p参数&＃xff0c;将容器的端口映射到宿主机的制定端口&＃xff1a;

$ docker run -p {hostPort}:{containerPort} {images}

二、Kubernetes 网络模式

Kubernetes与Docker网络有些不同。Kubernetes网络需要解决下面的4个问题&＃xff1a;

集群内&＃xff1a;

容器与容器之间的通信

Pod和Pod之间的通信

Pod和服务之间的通信

集群外&＃xff1a;

外部应用与服务之间的通信

因此&＃xff0c;Kubernetes假设Pod之间能够进行通讯&＃xff0c;这些Pod可能部署在不同的宿主机上。每一个Pod都拥有自己的IP地址&＃xff0c;因此能够将Pod看作为物理主机或者虚拟机&＃xff0c;从而能实现端口设置、命名、服务发现、负载均衡、应用配置和迁移。为了满足上述需求&＃xff0c;则需要通过集群网络来实现。

在本文主要分析容器与容器之间&＃xff0c;以及Pod和Pod之间的通信&＃xff1b;Pod和服务之间&＃xff0c;以及外部应用与服务之间的通信请参考《Kubernetes-核心资源之Service》和《Kubernetes-核心资源之Ingress》。

2.1 同一个 Pod 中容器之间的通信

这种场景对于Kubernetes来说没有任何问题&＃xff0c;根据Kubernetes的架构设计。Kubernetes 创建 Pod 时&＃xff0c;首先会创建一个 pause 容器&＃xff0c;为 Pod 指派一个唯一的IP地址。然后&＃xff0c;以pause的网络命名空间为基础&＃xff0c;创建同一个Pod内的其它容器(–net&＃61;container:xxx)。

因此&＃xff0c;同一个Pod内的所有容器就会共享同一个网络命名空间&＃xff0c;在同一个Pod之间的容器可以直接使用localhost进行通信。

2.2 不同 Pod 中容器之间的通信

对于此场景&＃xff0c;情况现对比较复杂一些&＃xff0c;这就需要解决 Pod 间的通信问题。在Kubernetes 通过 flannel、calic 等网络插件解决 Pod 间的通信问题。本文以 flannel 为例说明在 Kubernetes 中网络模型&＃xff0c;flannel 是 kubernetes 默认提供网络插件。Flannel 是由 CoreOS 团队开发社交的网络工具&＃xff0c;CoreOS 团队采用 L3 Overlay 模式设计 flannel&＃xff0c; 规定宿主机下各个Pod属于同一个子网&＃xff0c;不同宿主机下的Pod属于不同的子网。

flannel会在每一个宿主机上运行名为flanneld代理&＃xff0c;其负责为宿主机预先分配一个子网&＃xff0c;并为Pod分配IP地址。Flannel使用Kubernetes或etcd来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过VXLAN、UDP或host-gw这些类型的后端机制进行转发。

2.3 Flannel 在 K8S 中运行的整体过程

1)设置集群网络

flannel默认使用etcd作为配置和协调中心&＃xff0c;首先使用etcd设置集群的整体网络。通过如下的命令能够查询网络配置信息&＃xff1a;

$ etcdctl ls /coreos.com/network/config

2)设置 Node 节点上的子网

基于在 etcd 中设置的网络&＃xff0c;flannel 为每一个 Node 分配 IP 子网。

获取子网列表

$ etcdctl ls /coreos.com/network/subnets

获取子网信息

$ etcdctl ls /coreos.com/network/subnets/{IP网段}

3)在每个 Node 上启动 flanneld

flannel 在每个 Node 上启动了一个 flanneld 的服务&＃xff0c;在flanneld启动后&＃xff0c;将从etcd中读取配置信息&＃xff0c;并请求获取子网的租约。

所有 Node 上的 flanneld 都依赖 etcd cluster 来做集中配置服务&＃xff0c;etcd 保证了所有node 上 flanned 所看到的配置是一致的。同时每个 node 上的 flanned 监听etcd上的数据变化&＃xff0c;实时感知集群中node的变化。flanneld一旦获取子网租约、配置后端后&＃xff0c;会将一些信息写入/run/flannel/subnet.env文件。

$ cat /var/run/flannel/subnet.env

4)创建虚拟网卡

在Node节点上&＃xff0c;会创建一个名为flannel.1的虚拟网卡。

$ ip addr show flannel.1

5)创建Docker网桥

并为容器配置名为docker0的网桥&＃xff0c;实际是通过修改Docker的启动参数–bip来实现的。通过这种方式&＃xff0c;为每个节点的Docker0网桥设置在整个集群范围内唯一的网段&＃xff0c;从保证创建出来的Pod的IP地址是唯一。

$ ip addr show docker0

6)修改路由表

flannel会对路由表进行修改&＃xff0c;从而能够实现容器跨主机的通信。

$ route -n

2.4 数据传递过程

在源容器宿主机中的数据传递过程&＃xff1a;

1)源容器向目标容器发送数据&＃xff0c;数据首先发送给 docker0 网桥

在源容器内容查看路由信息&＃xff1a;

$ kubectl exec -it -p {Podid} -c {ContainerId} -- ip route

2)docker0 网桥接受到数据后&＃xff0c;将其转交给 flannel.1 虚拟网卡处理

docker0 收到数据包后&＃xff0c;docker0的内核栈处理程序会读取这个数据包的目标地址&＃xff0c;根据目标地址将数据包发送给下一个路由节点&＃xff1a;

查看源容器所在Node的路由信息&＃xff1a;

$ ip route

3)flannel.1 接受到数据后&＃xff0c;对数据进行封装&＃xff0c;并发给宿主机的 eth0

flannel.1收到数据后&＃xff0c;flannelid会将数据包封装成二层以太包。

Ethernet Header的信息&＃xff1a;

From:{源容器flannel.1虚拟网卡的MAC地址}

To:{目录容器flannel.1虚拟网卡的MAC地址}

4)对在flannel路由节点封装后的数据&＃xff0c;进行再封装后&＃xff0c;转发给目标容器 Node 的 eth0

由于目前的数据包只是vxlan tunnel上的数据包&＃xff0c;因此还不能在物理网络上进行传输。因此&＃xff0c;需要将上述数据包再次进行封装&＃xff0c;才能源容器节点传输到目标容器节点&＃xff0c;这项工作在由linux内核来完成。

Ethernet Header 的信息&＃xff1a;

From: {源容器 Node 节点网卡的 MAC 地址}

To: {目录容器 Node 节点网卡的 MAC 地址}

IP Header的信息&＃xff1a;

From:{源容器Node节点网卡的IP地址}

To:{目录容器Node节点网卡的IP地址}

通过此次封装&＃xff0c;就可以通过物理网络发送数据包。

在目标容器宿主机中的数据传递过程&＃xff1a;

5)目标容器宿主机的eth0接收到数据后&＃xff0c;对数据包进行拆封&＃xff0c;并转发给flannel.1虚拟网卡&＃xff1b;

6)flannel.1 虚拟网卡接受到数据&＃xff0c;将数据发送给docker0网桥&＃xff1b;

7)最后&＃xff0c;数据到达目标容器&＃xff0c;完成容器之间的数据通信。

来源&＃xff1a;本文转自公众号 K8S技术栈(k8sstack)

“高效运维”公众号诚邀广大技术人员投稿&＃xff0c;

投稿邮箱&＃xff1a;jiachen&＃64;greatops.net&＃xff0c;或添加联系人微信&＃xff1a;greatops1118.

点个“在看”&＃xff0c;一年不宕机 返回搜狐&＃xff0c;查看更多

责任编辑&＃xff1a;