KVM虚拟化开源高可用方案

架构说明如下：

1. 采用2台存储服务器做drbd同步；

2. 将drbd同步磁盘作为iscsi资源共享给集群节点；

3. 集群节点可以挂载iscsi磁盘，划分vg,lv分配给虚拟机使用，并且可以实现迁移等功能；

4. 通过pacemaker管理实现drbd、iscsi、浮动ip的自动切换。

存储服务器网络连接说明：

1. 两台存储服务器加2-3块双口网卡，每块网卡拿出一个口做网络直连，然后几个端口之间做多网卡绑定。这样做的目的是提高可靠性同时提高网络带宽。

2. 另外做2个网口的多网卡绑定，和交换机配合，用于iscsi存储网络。

3. 剩下的端口可以用于管理和生产网络使用。

存储服务器raid配置说明：

存储服务器有多块磁盘，因为磁盘是很容易坏的部件，建议用2块磁盘做在线的热备。另外剩余磁盘做一个大的raid10组，然后再划分2个逻辑磁盘，较小的磁盘安装操作系统，较大的用于raid同步。

drbd配置文件参考：

global {

usage-count yes;

}

common {

protocol C;

disk {

on-io-error detach;

fencing resource-only;

}

net {

cram-hmac-alg sha1;

shared-secret "a6a0680c40bca2439dbe48343ddddcf4";

}

syncer {

rate 300M;

}

handlers {

fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

after-resync-target "/usr/lib/drbd/crm-unfence-peer.sh";

pri-on-incon-degr "echo b > /proc/sysrq-trigger";

}

}

resource iscsivg01 {

device /dev/drbd1;

disk /dev/sdb;

meta-disk internal;

net {

max-buffers 8192;

max-epoch-size 8192;

sndbuf-size 2048k;

unplug-watermark 127;

}

disk {

disk-barrier no;

disk-flushes no;

resync-rate 150M;

c-plan-ahead 200;

c-max-rate 200M;

c-min-rate 25M;

c-fill-target 15M;

}

on drbd-01 {

address 172.16.101.181:7898;

}

on drbd-02 {

address 172.16.101.182:7898;

}

}

注意：

c-max-rate 200M;

c-min-rate 25M;

需要保持平衡，否则会造成同步速率不能上去。

Pacehmaker配置参考：

configure

property stonith-enabled="false"

property no-quorum-policy="ignore"

property default-resource-stickiness="200"

commit

primitive p_drbd_iscsivg01 ocf:linbit:drbd \

params drbd_resource="iscsivg01" \

op monitor interval="29" role="Master" \

op monitor interval="31" role="Slave"

primitive p_ip_alicebob01 ocf:heartbeat:IPaddr2 \

params ip="172.16.100.180" cidr_netmask="24" \

op monitor interval="10s"

primitive p_lu_iscsivg01_lun1 ocf:heartbeat:iSCSILogicalUnit \

params target_iqn="iqn.2001-04.com.example:storage.example.iscsivg01" lun="1" path="/dev/iscsivg01/LUN1" scsi_id="1234567890123456" \

op monitor interval="10s"

primitive p_lu_iscsivg01_lun2 ocf:heartbeat:iSCSILogicalUnit \

params target_iqn="iqn.2001-04.com.example:storage.example.iscsivg01" lun="2" path="/dev/iscsivg01/LUN2" scsi_id="1234567890123457" \

op monitor interval="10s"

primitive p_lvm_iscsivg01 ocf:heartbeat:LVM \

params volgrpname="iscsivg01" \

op monitor interval="30s"

primitive p_target_iscsivg01 ocf:heartbeat:iSCSITarget \

params iqn="iqn.2001-04.com.example:storage.example.iscsivg01" tid="1" incoming_username="iscsi" incoming_password="1qa2ws3ed4rF" \

op monitor interval="10s"

group rg_iscsivg01 p_lvm_iscsivg01 p_target_iscsivg01 p_lu_iscsivg01_lun1 p_lu_iscsivg01_lun2 p_ip_alicebob01

ms ms_drbd_iscsivg01 p_drbd_iscsivg01 \

meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

location drbd-fence-by-handler-iscsivg01-ms_drbd_iscsivg01 ms_drbd_iscsivg01 \

rule $id="drbd-fence-by-handler-iscsivg01-rule-ms_drbd_iscsivg01" $role="Master" -inf: #uname ne drbd-01

colocation c_iscsivg01_on_drbd inf: rg_iscsivg01 ms_drbd_iscsivg01:Master

order o_drbd_before_iscsivg01 inf: ms_drbd_iscsivg01:promote rg_iscsivg01:start