# ps -ef|grep docker|grep bip
FLANNEL_OPTIONS&＃61;"-ip-masq&＃61;true"
-ip-masq&＃61;true 这个参数的目的是让flannel进行ip伪装&＃xff0c;而不让docker进行ip伪装。这么做的原因是如果docker进行ip伪装&＃xff0c;流量再从flannel出去&＃xff0c;其他host上看到的source ip就是flannel的网关ip&＃xff0c;
而不是docker容器的ip。
-----------------------------------------------------------------------------------------------------------------------
Flannel是一个专为kubernetes定制的三层网络解决方案&＃xff0c;主要用于解决容器的跨主机通信问题。
Flannel 是由 CoreOS 维护的一个虚拟网络方案。Flannel为每个host分配一个subnet&＃xff0c;容器从此subnet中分配ip。这些ip可以在host间路由&＃xff0c;容器间无需nat和port mapping就可以跨主机通讯。
首先&＃xff0c;flannel利用Kubernetes API或者etcd用于存储整个集群的网络配置&＃xff0c;其中最主要的内容为设置集群的网络地址空间。例如&＃xff0c;设定整个集群内所有容器的IP都取自网段“10.1.0.0/16”。
接着&＃xff0c;flannel在每个主机中运行flanneld作为agent&＃xff0c;它会为所在主机从集群的网络地址空间中&＃xff0c;获取一个小的网段subnet&＃xff0c;本主机内所有容器的IP地址都将从中分配。
然后&＃xff0c;flanneld再将本主机获取的subnet以及用于主机间通信的Public IP&＃xff0c;同样通过kubernetes API或者etcd存储起来。
最后&＃xff0c;flannel利用各种backend mechanism&＃xff0c;例如udp&＃xff0c;vxlan等等&＃xff0c;跨主机转发容器间的网络流量&＃xff0c;完成容器间的跨主机通信。
使用Flannel &＃xff0c;添加一台新机器到集群时&＃xff0c;Flannel 做了三件事&＃xff1a;
- 使用 etcd 为新增机器分配一个子网
- 在宿主机上创建一个虚拟桥接接口&＃xff08;名为 docker0 的桥接器&＃xff09;
- 设置一个网络转发后端
aws-vpc&＃xff1a;在 Amazon AWS 实例表中注册新增机器子网。该实例表最多支持 50 项记录&＃xff0c;这意味着&＃xff0c;如果你使用 flannel &＃43; aws-vpc 方案&＃xff0c;集群最多只能包含 50 台机器&＃xff0c;集群也只能运行在 AWS 云平台。host-gw&＃xff1a;通过远程机器 IP &＃xff0c;创建到子网的 IP 路由。这要求运行 flannel 的不同主机在二层直接互通&＃xff08;通过mac地址进行通信&＃xff09;。vxlan&＃xff1a;创建一个虚拟的 VXLAN 接口。&＃xff08;扩展的虚拟局域网&＃xff09;
由于 flannel 使用桥接接口转发网络包&＃xff0c;从一个容器发往另一个容器的网络包将历经两个网络栈。
Flannel通信原理如图&＃xff1a;
步骤&＃xff1a;
- IP数据报被封装并通过容器的eth0发送。
- Container1的eth0通过veth对与Docker0交互并将数据包发送到Docker0。然后Docker0转发包。
- Docker0确定Container3的IP地址&＃xff0c;通过查询本地路由表到外部容器&＃xff0c;并将数据包发送到虚拟NIC Flannel0。
- Flannel0收到的数据包被转发到Flanneld进程。 Flanneld进程封装了数据包通过查询etcd维护的路由表并发送数据包通过主机的eth0。
- 数据包确定网络中的目标主机主机。
- 目的主机的Flanneld进程监听8285端口&＃xff0c;负责解封包。
- 解封装的数据包将转发到虚拟NICFlannel0。
- Flannel0查询路由表&＃xff0c;解封包&＃xff0c;并将数据包发送到Docker0。
- Docker0确定目标容器并发送包到目标容器。
添加flannel网络配置信息到Etcd集群&＃xff1a;
etcdctl --endpoints&＃61;https://172.17.213.60:2379 \--cert-file&＃61;/etc/kubernetes/ssl/etcd.pem \--ca-file&＃61;/etc/kubernetes/ssl/ca.pem \--key-file&＃61;/etc/kubernetes/ssl/etcd-key.pem \set /flannel/network/config \ &＃39;{"Network":"10.254.64.0/18","SubnetLen":24,"Backend":{"Type":"vxlan"}}&＃39;
- Network&＃xff1a;用于指定Flannel地址池
- SubnetLen&＃xff1a;用于指定分配给单个宿主机的docker0的ip段的子网掩码的长度
- SubnetMin&＃xff1a;用于指定最小能够分配的ip段
- SudbnetMax&＃xff1a;用于指定最大能够分配的ip段&＃xff0c;"SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0"&＃xff0c;表示每个宿主机可以分配一个24位掩码长度的子网&＃xff0c;可以分配的子网从10.0.1.0/24到10.0.20.0/24&＃xff0c;也就意味着在这个网段中&＃xff0c;最多只能有20台宿主机
- Backend&＃xff1a;用于指定数据包以什么方式转发&＃xff0c;默认为udp模式&＃xff0c;host-gw模式性能最好&＃xff0c;但不能跨宿主机网络
Flannel启动过程解析&＃xff1a;
- 从etcd中获取network的配置信息
- 划分subnet&＃xff0c;并在etcd中进行注册
- 将子网信息记录到/run/flannel/subnet.env中
验证Flannel网络
查看etcd中的数据&＃xff1a;
$etcdctl --endpoints&＃61;${ETCD_ENDPOINTS} \--ca-file&＃61;/etc/kubernetes/ssl/ca.pem \--cert-file&＃61;/etc/kubernetes/ssl/kubernetes.pem \--key-file&＃61;/etc/kubernetes/ssl/kubernetes-key.pem \ls /kube-centos/network/subnets
/kube-centos/network/subnets/172.30.14.0-24
/kube-centos/network/subnets/172.30.38.0-24
/kube-centos/network/subnets/172.30.46.0-24$etcdctl --endpoints&＃61;${ETCD_ENDPOINTS} \--ca-file&＃61;/etc/kubernetes/ssl/ca.pem \--cert-file&＃61;/etc/kubernetes/ssl/kubernetes.pem \--key-file&＃61;/etc/kubernetes/ssl/kubernetes-key.pem \get /kube-centos/network/config
{ "Network": "172.30.0.0/16", "SubnetLen": 24, "Backend": { "Type": "vxlan" } }$etcdctl --endpoints&＃61;${ETCD_ENDPOINTS} \--ca-file&＃61;/etc/kubernetes/ssl/ca.pem \--cert-file&＃61;/etc/kubernetes/ssl/kubernetes.pem \--key-file&＃61;/etc/kubernetes/ssl/kubernetes-key.pem \get /kube-centos/network/subnets/172.30.14.0-24
{"PublicIP":"172.20.0.114","BackendType":"vxlan","BackendData":{"VtepMAC":"56:27:7d:1c:08:22"}}
参考资料&＃xff1a; https://segmentfault.com/a/1190000016304924?utm_source&＃61;tag-newest
京公网安备 11010802041100号