利用ZFS和Gluster实现分布式存储系统的高效迁移与应用

2019独角兽企业重金招聘Python工程师标准>>>

我这用的Ubuntu 18.04系统&＃xff08;已经内置支持ZFS和Gluster文件系统了&＃xff09;&＃xff0c;原来磁盘存储使用的Ext4格式和LVM&＃xff0c;现在需要迁移到ZFS/Gluster支持的分布式软件定义存储&＃xff08;SDS&＃xff09;和容器存储体系&＃xff08;CSI&＃xff09;&＃xff0c;以充分利用分布式架构的存储虚拟化、多机容错、水平扩容、网络访问的集群环境下应用的需要。

方案&＃xff1a;

集群节点既能提供存储服务&＃xff0c;也能执行高通量、非密集型计算任务。
集群存储主机至少有两个节点。
每节点四核CPU&＃xff0c;16G内存&＃xff0c;512G高速SSD。
每节点PCIE至少双槽&＃xff0c;一块双口万兆网卡&＃xff0c;一块SATA扩展卡或SAS阵列卡。
每节点至少4块磁盘&＃xff08;达到400MB/s以上&＃xff0c;磁盘越多越快&＃xff1b;8块盘可达到800MB/s左右&＃xff09;。
节点的磁盘使用ZFS条带卷以获得最大磁盘IO速度&＃xff0c;将SSD设为缓存和log卷执行加速。
多个节点存储通过Gluster做网络镜像存储&＃xff0c;可以灵活地按照镜像&＃xff08;可靠性高&＃xff09;或者条带&＃xff08;容量大、性能高&＃xff09;来组织存储方案。节点越多&＃xff0c;可靠性、性能越好。

步骤&＃xff1a;

中间需要有多个步骤&＃xff0c;记录如下&＃xff1a;

先把新的存储系统准备好。
- 安装ZFS&＃xff0c;sudo apt install zfsutils-linux 。
- 安装Gluster&＃xff0c;sudo apt install glusterfs-server 。
- 在所有节点上&＃xff0c;创建ZFS存储池和文件系统。
- 在所有节点上&＃xff0c;互相添加为gluster peer。
- 在任一节点上&＃xff0c;创建gluster volume存储卷&＃xff0c;可选镜像或条带模式。
- 在需要访问的工作节点挂载gluster存储卷&＃xff0c;映射为本地卷&＃xff0c;然后就可以直接访问了。
  - 在Kubernetes上&＃xff0c;每一个Node都需要能访问网络存储卷&＃xff0c;或者挂载为本地卷、通过hostpah来使用。
把Ext4和原来磁盘阵列的数据复制到新的存储系统。
- 确认数据已经全部复制。
把原来的存储系统重新格式化为ZFS/Gluster。
- 再次确认数据已经全部复制。
把原始数据复制回原来的存储系统。
建立软连接&＃xff0c;连接到原来的卷到新的存储系统主目录。
- ln -s 新的目录原来目录的链接名
  - 如&＃xff1a;ln -s /zpool/data /home/supermap/data
- 恢复原来的服务。

注意&＃xff1a;

⚠️不要出错&＃xff0c;否则把原始数据搞丢了&＃xff0c;就麻烦大了。
建议使用万兆&＃xff08;10Gbps&＃xff09;网络&＃xff08;存储节点使用万兆网卡&＃xff0c;全万兆交换机连接&＃xff09;。
- 网络存储传输带宽&＃xff0c;理论上&＃xff1a;
  - 百兆连接9MB/s。
  - 千兆连接90MB/s。
  - 万兆连接900MB/s。
  - 双万兆连接1600MB/s以上。
- 推荐&＃xff1a;双万兆端口网卡&＃xff0c;双路互备、链路聚合。
需要至少双倍于现有数据的存储空间。
- 新的分布式存储启用镜像和副本&＃xff0c;需要“数据容量X副本数量”的物理磁盘容量。

参考&＃xff1a;

万兆网与测试
- Ubuntu测试-使用phoronix-test-suite
- Ubuntu16.04 双网卡链路聚合
ZFS
- ZFS快速安装和性能测试
- Ubuntu上使用ZFS&＃xff08;Zettabyte File System&＃xff09;
- 提升ZFS性能的10个简便方法
- ZFS-最佳实践指南
- ZFS-自我恢复RAID
GlusterFS
- 安装 GlusterFS - 快速开始
- Setting up GlusterFS Volumes
- Intel 40G网卡与LSI MegaRAID驱动安装