利用ZFS和Gluster实现分布式存储系统的高效迁移与应用

我这用的Ubuntu 18.04系统&＃xff08;已经内置支持ZFS和Gluster文件系统了&＃xff09;&＃xff0c;原来磁盘存储使用的Ext4格式和LVM&＃xff0c;现在需要迁移到ZFS/Gluster支持的分布式软件定义存储&＃xff08;SDS&＃xff09;和容器存储体系&＃xff08;CSI&＃xff09;&＃xff0c;以充分利用分布式架构的存储虚拟化、多机容错、水平扩容、网络访问的集群环境下应用的需要。

方案&＃xff1a;

• 集群节点既能提供存储服务&＃xff0c;也能执行高通量、非密集型计算任务。
• 集群存储主机至少有两个节点。
• 每节点四核CPU&＃xff0c;16G内存&＃xff0c;512G高速SSD。
• 每节点PCIE至少双槽&＃xff0c;一块双口万兆网卡&＃xff0c;一块SATA扩展卡或SAS阵列卡。
• 每节点至少4块磁盘&＃xff08;达到400MB/s以上&＃xff0c;磁盘越多越快&＃xff1b;8块盘可达到800MB/s左右&＃xff09;。
• 节点的磁盘使用ZFS条带卷以获得最大磁盘IO速度&＃xff0c;将SSD设为缓存和log卷执行加速。
• 多个节点存储通过Gluster做网络镜像存储&＃xff0c;可以灵活地按照镜像&＃xff08;可靠性高&＃xff09;或者条带&＃xff08;容量大、性能高&＃xff09;来组织存储方案。节点越多&＃xff0c;可靠性、性能越好。

步骤&＃xff1a;

中间需要有多个步骤&＃xff0c;记录如下&＃xff1a;

1. 先把新的存储系统准备好。
   • 安装ZFS&＃xff0c;sudo apt install zfsutils-linux 。
   • 安装Gluster&＃xff0c;sudo apt install glusterfs-server 。
   • 在所有节点上&＃xff0c;创建ZFS存储池和文件系统。
   • 在所有节点上&＃xff0c;互相添加为gluster peer。
   • 在任一节点上&＃xff0c;创建gluster volume存储卷&＃xff0c;可选镜像或条带模式。
   • 在需要访问的工作节点挂载gluster存储卷&＃xff0c;映射为本地卷&＃xff0c;然后就可以直接访问了。
     • 在Kubernetes上&＃xff0c;每一个Node都需要能访问网络存储卷&＃xff0c;或者挂载为本地卷、通过hostpah来使用。
2. 把Ext4和原来磁盘阵列的数据复制到新的存储系统。
   • 确认数据已经全部复制。
3. 把原来的存储系统重新格式化为ZFS/Gluster。
   • 再次确认数据已经全部复制。
4. 把原始数据复制回原来的存储系统。
5. 建立软连接&＃xff0c;连接到原来的卷到新的存储系统主目录。
   • ln -s 新的目录 原来目录的链接名
     • 如&＃xff1a;ln -s /zpool/data /home/supermap/data
   • 恢复原来的服务。

注意&＃xff1a;

• ⚠️不要出错&＃xff0c;否则把原始数据搞丢了&＃xff0c;就麻烦大了。
• 建议使用万兆&＃xff08;10Gbps&＃xff09;网络&＃xff08;存储节点使用万兆网卡&＃xff0c;全万兆交换机连接&＃xff09;。
  • 网络存储传输带宽&＃xff0c;理论上&＃xff1a;
    • 百兆连接9MB/s。
    • 千兆连接90MB/s。
    • 万兆连接900MB/s。
    • 双万兆连接1600MB/s以上。
  • 推荐&＃xff1a;双万兆端口网卡&＃xff0c;双路互备、链路聚合。
• 需要至少双倍于现有数据的存储空间。
  • 新的分布式存储启用镜像和副本&＃xff0c;需要“数据容量X副本数量”的物理磁盘容量。

参考&＃xff1a;

• 万兆网与测试
  • Ubuntu测试-使用phoronix-test-suite
  • Ubuntu16.04 双网卡链路聚合
• ZFS
  • ZFS快速安装和性能测试
  • Ubuntu上使用ZFS&＃xff08;Zettabyte File System&＃xff09;
  • 提升ZFS性能的10个简便方法
  • ZFS-最佳实践指南
  • ZFS-自我恢复RAID
• GlusterFS
  • 安装 GlusterFS - 快速开始
  • Setting up GlusterFS Volumes
  • Intel 40G网卡与LSI MegaRAID驱动安装