解除openstack中instance对IP的限制

作者：有你真好cc_693 | 来源：互联网 | 2014-05-27 20:14

最近公司的几个关键业务跑在openstack中的虚拟机中，想把几个虚拟机做成负载均衡和高可用集群。对于负载均衡，G版本已经集成了haproxy插件，对haproxy的配置做了一层封装，可以很方便的通过quantum去创建一个负载均衡池，为相同或者不同宿主机上的虚拟机提

　　最近公司的几个关键业务跑在openstack中的虚拟机中，想把几个虚拟机做成负载均衡和高可用集群。

　　对于负载均衡，G版本已经集成了haproxy插件，对haproxy的配置做了一层封装，可以很方便的通过quantum去创建一个负载均衡池，为相同或者不同宿主机上的虚拟机提供负载均衡的能力。

　　在这个模式下，haproxy是运行在宿主机上的。

　　遗憾的是，目前还不能通过openstack做到haproxy的高可用。

　　想要做高可用，只能在虚拟机中去飘VIP了

　　但是创建了虚拟机之后，在这个虚拟机实例中只能使用指定的IP。

　　这就导致想在虚拟机中部署高可用去飘VIP是不可行的。

　　可以理解，在公有云环境下，是不可能让用户在虚拟机中随意去配置额外地址的。

　　但我们是私有云环境，这个规则对私有云环境下很是麻烦。

　　在openstack中创建虚拟机，通过nova boot的--nic选项指定网卡和IP地址：

　　--nic net-id=${NETWORK_ID},v4-fixed-ip=${Host_IP}

　　之前一直以为是iptables规则导致的。于是去看了一遍宿主机中的iptables规则

　　root@node1:~# iptables -vnL

　　Chain INPUT (policy ACCEPT 3556K packets, 744M bytes)

　　pkts bytes target prot opt in out source destination

　　1778K 372M nova-compute-INPUT all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)

　　pkts bytes target prot opt in out source destination

　　150 13488 nova-filter-top all -- * * 0.0.0.0/0 0.0.0.0/0

　　6 1392 nova-compute-FORWARD all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain OUTPUT (policy ACCEPT 4208K packets, 567M bytes)

　　pkts bytes target prot opt in out source destination

　　4202K 567M nova-filter-top all -- * * 0.0.0.0/0 0.0.0.0/0

　　2106K 284M nova-compute-OUTPUT all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-FORWARD (1 references)

　　pkts bytes target prot opt in out source destination

　　4 1312 ACCEPT udp -- * * 0.0.0.0 255.255.255.255 udp spt:68 dpt:67

　　2 80 ACCEPT all -- brq3eefcd79-07 * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT all -- * brq3eefcd79-07 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-INPUT (1 references)

　　pkts bytes target prot opt in out source destination

　　2 656 ACCEPT udp -- * * 0.0.0.0 255.255.255.255 udp spt:68 dpt:67

　　Chain nova-compute-OUTPUT (1 references)

　　pkts bytes target prot opt in out source destination

　　Chain nova-compute-inst-15 (1 references)

　　pkts bytes target prot opt in out source destination

　　0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID

　　0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

　　0 0 nova-compute-provider all -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT udp -- * * 10.16.0.102 0.0.0.0/0 udp spt:67 dpt:68

　　0 0 ACCEPT all -- * * 10.16.0.0/24 0.0.0.0/0

　　0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 icmptype 8 code 8

　　0 0 nova-compute-sg-fallback all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-inst-17 (1 references)

　　pkts bytes target prot opt in out source destination

　　0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID

　　0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

　　0 0 nova-compute-provider all -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT udp -- * * 10.16.0.102 0.0.0.0/0 udp spt:67 dpt:68

　　0 0 ACCEPT all -- * * 10.16.0.0/24 0.0.0.0/0

　　0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0

　　0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 icmptype 8 code 8

　　0 0 nova-compute-sg-fallback all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-compute-local (1 references)

　　pkts bytes target prot opt in out source destination

　　0 0 nova-compute-inst-15 all -- * * 0.0.0.0/0 10.16.0.111

　　0 0 nova-compute-inst-17 all -- * * 0.0.0.0/0 10.16.0.131

　　Chain nova-compute-provider (2 references)

　　pkts bytes target prot opt in out source destination

　　Chain nova-compute-sg-fallback (2 references)

　　pkts bytes target prot opt in out source destination

　　0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0

　　Chain nova-filter-top (2 references)

　　pkts bytes target prot opt in out source destination

　　2106K 284M nova-compute-local all -- * * 0.0.0.0/0 0.0.0.0/0

　　分析一下这些openstack自动生成的规则，可以看到input，forword和output链默认都是accept状态。分析每条链对数据包的跳转和过滤，如果在虚拟机中配置新的地址，是不会被过滤的。

　　经过一番折腾，最终发现限制IP的原因是ebtables在起作用

　　root@node1:~# ebtables -t nat -L

　　Bridge table: nat

　　Bridge chain: PREROUTING, entries: 2, policy: ACCEPT

　　-i tap0678bf1d-41 -j libvirt-I-tap0678bf1d-41

　　-i tap496fa038-9e -j libvirt-I-tap496fa038-9e

　　Bridge chain: OUTPUT, entries: 0, policy: ACCEPT

　　Bridge chain: POSTROUTING, entries: 0, policy: ACCEPT

　　Bridge chain: libvirt-I-tap0678bf1d-41, entries: 4, policy: ACCEPT

　　-j I-tap0678bf1d-41-mac

　　-p IPv4 -j I-tap0678bf1d-41-ipv4-ip

　　-p ARP -j I-tap0678bf1d-41-arp-mac

　　-p ARP -j I-tap0678bf1d-41-arp-ip

　　Bridge chain: I-tap0678bf1d-41-mac, entries: 2, policy: ACCEPT

　　-s fa:16:3e:a6:5f:70 -j RETURN

　　-j DROP

　　Bridge chain: I-tap0678bf1d-41-ipv4-ip, entries: 3, policy: ACCEPT

　　-p IPv4 --ip-src 0.0.0.0 --ip-proto udp -j RETURN

　　-p IPv4 --ip-src 10.16.0.131 -j RETURN

　　-j DROP

　　Bridge chain: I-tap0678bf1d-41-arp-mac, entries: 2, policy: ACCEPT

　　-p ARP --arp-mac-src fa:16:3e:a6:5f:70 -j RETURN

　　-j DROP

　　Bridge chain: I-tap0678bf1d-41-arp-ip, entries: 2, policy: ACCEPT

　　-p ARP --arp-ip-src 10.16.0.131 -j RETURN

　　-j DROP

　　Bridge chain: libvirt-I-tap496fa038-9e, entries: 4, policy: ACCEPT

　　-j I-tap496fa038-9e-mac

　　-p IPv4 -j I-tap496fa038-9e-ipv4-ip

　　-p ARP -j I-tap496fa038-9e-arp-mac

　　-p ARP -j I-tap496fa038-9e-arp-ip

　　Bridge chain: I-tap496fa038-9e-mac, entries: 2, policy: ACCEPT

　　-s fa:16:3e:58:1:ac -j RETURN

　　-j DROP

　　Bridge chain: I-tap496fa038-9e-ipv4-ip, entries: 3, policy: ACCEPT

　　-p IPv4 --ip-src 0.0.0.0 --ip-proto udp -j RETURN

　　-p IPv4 --ip-src 10.16.0.111 -j RETURN

　　-j DROP

　　Bridge chain: I-tap496fa038-9e-arp-mac, entries: 2, policy: ACCEPT

　　-p ARP --arp-mac-src fa:16:3e:58:1:ac -j RETURN

　　-j DROP

　　Bridge chain: I-tap496fa038-9e-arp-ip, entries: 2, policy: ACCEPT

　　-p ARP --arp-ip-src 10.16.0.111 -j RETURN

　　-j DROP

　　ebtables是linux专门做二层数据链路层过滤的。

　　在通过nova创建虚拟机后，会生成libvirt的一个xml配置文件

　　路径在：/etc/libvirt/nwfilter/nova-base.xml

　　里面定义了以下规则，这些规则限制了在虚拟机上的地址，在二层上就做了过滤

　　12ec8693-253a-7db0-7cd3-f8cc0a1e1b02

　　然后为每个虚拟机创建一个xml文件，每个虚拟机的xml配置中包含了nova-base.xml中的配置

　　打开其中一个虚拟机的xml配置，可以看到，这个配置文件中只放行了指定IP在二层上可以通过，所以其它手动配置的地址是不可用的。

　　cat /etc/libvirt/nwfilter/nova-instance-instance-0000000f-fa163e5801ac.xml

　　972d18be-2db0-4bf2-2853-a0a61beac036

　　libvirt可以通过在这些xml配置的规则，去生成ebtables规则，最终是ebtables做出限制。

　　如何破解？

　　修改nova-base.xml文件

　　注释掉以下三行

　　然后重启libvirt进程，libvirt会重新读取xml中的配置，生成新的ebtables规则。

　　修改后，我通过新建虚拟机，重启nova-computer进程，或者直接重启宿主机，这个base文件都不会发生变化了。

　　还有就是修改nova源码（未测试）

　　源码位置在

　　/usr/lib/python2.7/dist-packages/nova/virt/libvirt/firewall.py

　　第198行（G版本中）

　　去掉no-mac-spoofing,no-ip-spoofing,no-arp-spoofing这三行，以后生成nova-base.xml文件就可以不包含这3个选项了。

推荐阅读

uml
C语言编程常用工具推荐

俗话说得好，“工欲善其事，必先利其器”。这句话不仅强调了工具的重要性，也提醒我们在任何项目开始前，准备合适的工具至关重要。本文将介绍几款C语言编程中常用的工具，帮助初学者更好地选择适合自己学习和工作的编程环境。 ... [详细]

蜡笔小新 2024-12-19 14:09:36
uml
Java异步编程实践

本文详细介绍了Java中实现异步调用的多种方式，包括线程创建、Future接口、CompletableFuture类以及Spring框架的@Async注解。通过代码示例和深入解析，帮助读者理解并掌握这些技术。 ... [详细]

蜡笔小新 2024-12-20 18:02:19
metadata
RedHat 系统下配置国内 YUM 源以替代官方收费源的方法

本文详细介绍如何在 RedHat Linux 中安装并配置 YUM 包管理器，并通过使用国内镜像源来解决因未购买官方服务而导致的更新源限制问题。 ... [详细]

蜡笔小新 2024-12-18 20:23:06
metadata
Python Socket 基础入门

本文介绍了客户端与服务端如何通过IP地址进行身份验证，并详细说明了在不同操作系统中查看和配置网络接口的方法。同时，文章还探讨了Socket的基本使用方法及其工作流程。 ... [详细]

蜡笔小新 2024-12-10 13:28:00
header
深入理解网络虚拟化与网络功能虚拟化

本文详细探讨了虚拟化的基本概念，包括服务器虚拟化、网络虚拟化及其在云计算环境中的应用。特别强调了SDN技术在网络虚拟化和云计算中的关键作用，以及网络虚拟化技术如何提升资源利用效率和管理灵活性。 ... [详细]

蜡笔小新 2024-12-09 20:01:17
php
Symfony框架的安装与使用指南

Symfony是一个功能强大的PHP框架，以其依赖注入（DI）特性著称。许多流行的PHP框架如Drupal和Laravel的核心组件都基于Symfony构建。本文将详细介绍Symfony的安装方法及其基本使用。 ... [详细]

蜡笔小新 2024-12-21 14:17:36
js
Python 实现微信支付集成

本文详细介绍如何使用 Python 集成微信支付的三种主要方式：Native 支付、APP 支付和 JSAPI 支付。每种方式适用于不同的应用场景，如 PC 网站、移动端应用和公众号内支付等。 ... [详细]

蜡笔小新 2024-12-20 17:39:09
php
理解远程过程调用 (RPC) 的概念与演变

远程过程调用（RPC）是一种允许客户端通过网络请求服务器执行特定功能的技术。它简化了分布式系统的交互，使开发者可以像调用本地函数一样调用远程服务，并获得返回结果。本文将深入探讨RPC的工作原理、发展历程及其在现代技术中的应用。 ... [详细]

蜡笔小新 2024-12-20 15:12:33
tree
Python3 中使用 lxml 模块解析 XPath 数据详解

XPath 是一种用于在 XML 文档中查找信息的路径语言，同样适用于 HTML 文件的搜索。本文将详细介绍如何利用 Python 的 lxml 模块通过 XPath 技术高效地解析和抓取网页数据。 ... [详细]

蜡笔小新 2024-12-20 11:23:22
ascii
基于目标检测结果的特定类别图像与XML文件快速分析方法

本文介绍了一种根据目标检测结果，从原始XML文件中提取并分析特定类别的方法。通过解析XML文件，筛选出特定类别的图像和标注信息，并保存到新的文件夹中，以便进一步分析和处理。 ... [详细]

蜡笔小新 2024-12-19 17:32:58
ascii
cJinja：C++编写的轻量级HTML模板引擎

本文介绍了cJinja，这是一个用C++编写的轻量级HTML模板解析库。它利用ejson来处理模板中的数据替换（即上下文），其语法与Django Jinja非常相似，功能强大且易于学习。 ... [详细]

蜡笔小新 2024-12-19 15:55:09
settings
利用Django-Crontab实现Django项目的定时任务管理

本文介绍了如何在Django项目中使用django-crontab库来设置和管理定时任务，包括安装、配置、编写定时任务以及常见问题的解决方案。通过具体实例，帮助开发者快速掌握在Django中实现自动化任务的方法。 ... [详细]

蜡笔小新 2024-12-19 14:51:39
buffer
Web与游戏开发的主要差异

本文探讨了Web开发与游戏开发之间的主要区别，旨在帮助开发者更好地理解两种开发领域的特性和需求。文章基于作者的实际经验和网络资料整理而成。 ... [详细]

蜡笔小新 2024-12-18 08:26:30
buffer
深入解析 Linux 中的 netstat 命令

本文将详细探讨 Linux 系统中的 netstat 命令，该命令用于查看网络状态和连接情况。通过了解 IP 地址和端口的基本概念，我们将更好地理解如何利用 netstat 命令来监控和管理网络服务。 ... [详细]

蜡笔小新 2024-12-16 19:44:58
buffer
嵌入式工程师秋招实战总结

本文详细记录了作者从7月份的提前批到9、10月份正式批的秋招经历，包括各公司的面试流程、技术问题及HR面的常见问题。通过这次秋招，作者深刻体会到了技术积累和面试准备的重要性。 ... [详细]

蜡笔小新 2024-12-06 12:48:28

有你真好cc_693

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章