【存储】RAID2.0+、多路径技术、磁盘可靠性技术

RAID技术发展

在最初的RAID技术中&＃xff0c;是将几块小容量廉价的磁盘组合成一个大的逻辑磁盘给大型机使用。后来硬盘的容量不断增大&＃xff0c;组建RAID的初衷不再是构建一个大容量的磁盘&＃xff0c;而是利用RAID技术实现数据的可靠性和安全性&＃xff0c;以及提升存储性能&＃xff0c;由于单个容量硬盘都已经较大了&＃xff0c;数据硬盘组建的RAID容量更大&＃xff0c;然后再把RAID划分成一个一个的LUN映射给服务器使用。随着硬盘技术的发展&＃xff0c;单块硬盘的容量已经达到数T&＃xff0c;传统RAID技术在硬盘重构的过程中需要的时间越来越长&＃xff0c;也增加了在重构过程中其它硬盘再坏掉对数据丢失造成的风险&＃xff0c;为了解决这一问题&＃xff0c;块虚拟化技术应运而生。RAID 2.0&＃43; 是华为的块虚拟化技术&＃xff0c;该技术将物理空间和数据空间分散分布成分散的块&＃xff0c;可以充分发挥系统的读写能力&＃xff0c;方便扩展&＃xff0c;也方便了空间的按需分配&＃xff0c;数据的热度排布&＃xff0c;迁移&＃xff0c;它是华为所有Smart软件特性的实现基础。同时&＃xff0c;由于热备空间也是分散在多个盘上的&＃xff0c;因此硬盘数据的重构写几乎可以同时进行&＃xff0c;避免了写单个热备盘造成的性能瓶颈&＃xff0c;大大减少了重构时间。

RAID 2.0&＃43;软件逻辑对象

• 华为RAID2.0&＃43;采用底层硬盘管理和上层资源管理两层虚拟化管理模式&＃xff0c;在系统内部&＃xff0c;每个硬盘空间被划分成一个个小粒度的数据块&＃xff0c;基于数据块来构建RAID组&＃xff0c;使得数据均匀地分布到存储池的所有硬盘上&＃xff0c;同时&＃xff0c;以数据块为单元来进行资源管理&＃xff0c;大大提高了资源管理的效率。
  
  • OceanStor存储系统支持不同类型&＃xff08;SSD、SAS、NL-SAS&＃xff09;的硬盘&＃xff08;SATA盘理论可用&＃xff0c;只是其性能较低&＃xff0c;企业级存储中已很少使用&＃xff09;&＃xff0c;这些硬盘组成一个个的硬盘域&＃xff08;Disk Domain&＃xff09;。在一个硬盘域中&＃xff0c;同种类型的硬盘构成一个存储层&＃xff0c;每个存储层内部再按一定的规则划分为Disk Group&＃xff1b;
  • 各存储层的硬盘被划分为固定大小的Chunk&＃xff08;CK&＃xff09;&＃xff0c;其中&＃xff0c;SSD层和SAS层的CK的大小为64MB&＃xff0c;NL-SAS层的CK大小为256M。
  • OceanStor 存储系统通过随机算法&＃xff0c;将每一个存储层的Chunk&＃xff08;CK&＃xff09;按照用户设置的“RAID策略”来组成Chunk Group&＃xff08;CKG&＃xff09;&＃xff0c;用户可以为存储池&＃xff08;StoragePool&＃xff09;中的每一个存储层分别设置“RAID策略”。
  • OceanStor存储系统会将Chunk Group&＃xff08;CKG&＃xff09;切分为更小的Extent。Extent作为数据迁移的最小粒度和构成Thick LUN的基本单位&＃xff0c;在创建存储池&＃xff08;Storage Pool&＃xff09;时可以在“高级”选项中进行设置&＃xff0c;默认4MB。对于Thin LUN或文件系统&＃xff0c;会在Extent上再进行更细粒度的划分&＃xff08;Grain&＃xff09;&＃xff0c;并以Grain为单位映射到Thin LUN、文件系统。&＃xff08;Thin LUN的概念将在后面的章节中描述&＃xff09;
• 若干Extent组成了卷&＃xff08;Volume&＃xff09;&＃xff0c;卷&＃xff08;Volume&＃xff09;对外体现为主机访问的LUN&＃xff08;这里的LUN为Thick LUN&＃xff09;。在处理用户的读写请求以及进行数据迁移时&＃xff0c;LUN向存储系统申请空间、释放空间、迁移数据都是以Extent为单位进行的。例如&＃xff1a;用户在创建LUN时&＃xff0c;可以指定容量从某一个存储层中获得&＃xff0c;此时LUN由指定的某一个存储层上的Extent组成。在用户的业务开始运行后&＃xff0c;存储系统会根据用户设定的迁移策略&＃xff0c;对访问频繁的数据以及较少被访问的数据在存储层之间进行迁移&＃xff08;此功能需要购买SmartTier License&＃xff09;。此时&＃xff0c;LUN上的数据就会以Extent为单位分布到存储池的各个存储层上。
• 在用户创建Thin LUN或文件系统时&＃xff0c;OceanStor存储系统还会在Extent的基础上再进行更细粒度的划分&＃xff08;Grain&＃xff09;&＃xff0c;并以Grain为单位映射到Thin LUN或文件系统&＃xff0c;从而实现对存储容量的精细化管理。

RAID 2.0&＃43;基本原理

硬盘域

• 在传统RAID中&＃xff0c;要将硬盘空间提供给业务主机的第一步操作是 创建RAID组。但是对创建RAID组这一操作有一些限制和要求&＃xff1a;RAID组中的硬盘的类型是相同的&＃xff0c;硬盘的大小和转速需要保持一致&＃xff0c;而且一个RAID组中的硬盘个数不建议超过12个。
• 华为RAID2.0&＃43;技术中采用了另一种实现方法。在该方法中&＃xff0c;第一步操作不是 创建RAID组&＃xff0c;而是创建硬盘域。一个硬盘域就是一组硬盘。一个硬盘只能属于一个硬盘域。OceanStor存储系统可以创建一个或多个硬盘域。看起来&＃xff0c;硬盘域的概念似乎跟RAID组的概念类似&＃xff0c;都是一组硬盘&＃xff0c;但实际上还是有很大的区别。在创建的RAID组中&＃xff0c;这组硬盘已经按照设定某个RAID组级别进行了绑定&＃xff0c;且这组硬盘的类型&＃xff0c;大小&＃xff0c;转速都必须是一样的。但是在一个硬盘域中&＃xff0c;硬盘的个数可以大很多&＃xff0c;比如上百个&＃xff0c;而且可以最多包含3种类型的硬盘&＃xff0c;每种类型的硬盘对应分配到一个存储层级&＃xff0c;SSD盘对应分配到高性能层&＃xff0c;SAS盘分配到性能层&＃xff0c;NL-SAS盘分配到容量层。如果硬盘域中没有相应的硬盘类型&＃xff0c;则该硬盘域就没有相应的存储层。更为关键的区别是&＃xff0c;硬盘域的主要作用是将这一组盘和哪一组盘分开&＃xff0c;目的是实现故障、性能和存储资源等的完全隔离。在创建硬盘域时&＃xff0c;RAID级别尚未指定&＃xff0c;即数据的冗余保护方式还未指定。事实上&＃xff0c;RAID2.0&＃43; 对数据冗余保护方式的设置更加灵活&＃xff0c;更加精细化。硬盘域中硬盘组成的存储空间&＃xff0c;将被划分成更小粒度的存储池&＃xff0c;以及为各个存储层级内共享的热备空间。热备空间大小是系统根据管理员为该硬盘域设置的热备策略&＃xff08;高、低、无&＃xff09;以及该硬盘域各存储层的硬盘个数自动设置的&＃xff0c;而不再是传统RAID组中那样&＃xff0c;由管理员指定某个特定的盘做热备盘。

Storage Pool & Tier

• 一个存储池基于指定的一个硬盘域创建&＃xff0c;可以从该硬盘域上动态的分配Chunk&＃xff08;CK&＃xff09;资源&＃xff0c;并按照每个存储层级&＃xff08;Tier&＃xff09;的“RAID策略”组成Chunk Group&＃xff08;CKG&＃xff09;向应用提供具有RAID保护的存储资源。
• 存储池根据硬盘类型可划分为多个Tier&＃xff0c;OceanStor存储系统支持的存储层级和硬盘类型上图左表所示。
• 创建存储池可以指定该存储池从硬盘域上划分的存储层级&＃xff08;Tier&＃xff09;类型以及该类型的“RAID策略”和“容量”。
• OceanStor存储系统支持RAID1、RAID10、RAID3、RAID5、RAID50和RAID6&＃xff0c;支持的RAID策略和配置上图右表所示。
• 容量层由大容量的SATA、NL-SAS盘组成&＃xff0c;RAID策略建议使用双重校验方式的RAID6。&＃xff08;SATA盘较少使用&＃xff0c;部分产品规格上已经不支持&＃xff09;

Disk Group&＃xff08;DG&＃xff09;

• OceanStor存储系统会在每个硬盘域内根据每种类型的硬盘数量自动划分为一个或多个Disk Group&＃xff08;DG&＃xff09;。
• 一个Disk Group&＃xff08;DG&＃xff09;只包含一种硬盘类型
• 任意一个CKG的多个CK来自于同一个Disk Group&＃xff08;DG&＃xff09;的不同硬盘
• Disk Group&＃xff08;DG&＃xff09;属于系统内部对象&＃xff0c;主要作用为故障隔离&＃xff0c;由OceanStor存储系统自动完成配置&＃xff0c;对外不体现。

LD&＃xff08;逻辑磁盘&＃xff09;

Chunk&＃xff08;CK&＃xff09;

• 块大小是系统在切分物理空间的时候固定的大小&＃xff0c;不能进行更改。

Chunk Group&＃xff08;CKG&＃xff09;

• 一个CKG中的CK均来自于同一个DG中的硬盘&＃xff0c;CKG具有RAID属性&＃xff08;RAID属性实际配置在Tier上&＃xff09;&＃xff0c;CK和CKG均属于系统内部对象&＃xff0c;由存储系统自动完成配置&＃xff0c;对外不体现。

Extent

• 一个Extent归属于一个Volume或一个LUN&＃xff0c;Extent大小在创建存储池时可以进行设置&＃xff0c;创建之后不可更改&＃xff0c;不同存储池的Extent大小可以不同&＃xff0c;但同一存储池中的Extent大小是统一的。

Grain

• Thin LUN以Grain为单位映射到LUN&＃xff0c;对于Thick LUN&＃xff0c;没有该对象。

Volume & LUN

• 一个Volume对象用于组织同一个LUN的所有Extent、Grain逻辑存储单元&＃xff0c;可动态申请释放Extent来增加或者减少Volume实际占用的空间。

• 用户数据从主机侧到磁盘阵列&＃xff0c;经历的典型路径为&＃xff1a;主机 -> SAN网络 -> 存储系统机头-> 存储系统磁盘。
• 所谓多路径技术&＃xff0c;即在一台主机和存储阵列端使用多条路径连接&＃xff0c;使主机到阵列的可见路径大于一条&＃xff0c;其间可以跨过多个交换机&＃xff0c;避免在交换机处形成单点故障。如上右图中&＃xff0c;主机到存储阵列的可见路径有2条&＃xff0c;即 &＃xff08;1&＃xff0c;3&＃xff09;&＃xff08;2&＃xff0c;4 &＃xff09;&＃xff0c;该路径上有两台独立的交换机。在这种模式下&＃xff0c;当路径1断开时&＃xff0c;数据流会在主机多路径软件的导引下选择路径&＃xff08;2&＃xff0c;4 &＃xff09;到达存储阵列侧&＃xff0c;同样在左侧交换机失效时&＃xff0c;也会自动导引到右侧交换机到达存储阵列。在路径1恢复的情况下&＃xff0c;IO流会自动切回原有路径下发。整个切换和恢复过程对主机应用透明&＃xff0c;完全避免了由于主机和阵列间的路径故障导致IO中断。
• 存储系统冗余保护方案涉及了这个路径上的所有领域&＃xff0c;在主机侧和SAN网络领域&＃xff0c;通过结合UltraPath多路径软件及其它多路径软件&＃xff0c;保证了前端路径没有单点故障&＃xff1b;在存储机头侧&＃xff0c;使用了全冗余硬件及热插拔技术实现了双控双活的冗余保护&＃xff1b;在磁盘侧&＃xff0c;利用磁盘双端口技术及磁盘多路径技术&＃xff0c;实现了磁盘侧冗余保护。

多路径技术原理

• 多路径软件的作用&＃xff1a;
  
  • 避免了同一LUN有多条路径可达导致的操作系统逻辑错误。
  • 增强了链路的可靠性&＃xff0c;避免了因为单个链路故障而导致的系统故障。

多路径软件与OS集成方式

• 一般来说&＃xff0c;多路径软件工作在磁盘驱动之下&＃xff0c;以提供虚拟磁盘给上层应用访问&＃xff0c;但也可以工作在磁盘驱动之上而在LVM之下&＃xff08;如Linux平台的各主流多路径软件&＃xff09;。
• 多路径软件在与OS集成方面主要有以下两种差异&＃xff1a;
  
  • 屏蔽原生磁盘&＃xff0c;并创建虚拟SCSI磁盘优点&＃xff1a;
    
    • 安全&＃xff0c;用户无法使用原生的冗余磁盘&＃xff0c;避免了误操作情况下数据破坏。
    • 对上层应用透明&＃xff0c;部署多路径软件前后磁盘无任何变化&＃xff0c;因此不需要更改上层应用配置。
    • 兼容性更好&＃xff1a;某些应用固定只识别标准SCSI磁盘。
  • 屏蔽原生磁盘&＃xff0c;并创建虚拟SCSI磁盘缺点&＃xff1a;
    
    • 非OS原生多路径软件需要OS驱动栈支持事件拦截机制才能实现原生磁盘屏蔽&＃xff1b;否则就需要使用hook方式替换系统函数&＃xff0c;存在与第三方驱动共存风险。
• 不拦截原生磁盘&＃xff0c;额外创建虚拟磁盘优点&＃xff1a;
  
  • 与第三方驱动共存兼容性较好。
• 不拦截原生磁盘&＃xff0c;额外创建虚拟磁盘缺点&＃xff1a;
  
  • 用户可以使用原生的冗余磁盘&＃xff0c;误操作情况下可能导致数据破坏
  • 需要上层应用更新配置。
  • 存在兼容性问题。

UltraPath功能

Failover

• 当同一存储控制器有多条路径连接到主机&＃xff0c;当LUN归属于该控制器时&＃xff0c;当主路径故障时&＃xff0c;会优先选择同控制器的其他端口的路径。
• UltraPath在路径故障时可以自动将IO转移到其他可用路径&＃xff0c;流程如下图所示&＃xff1a;
  
  1. 应用向UltraPath生成的虚拟磁盘下发IO。
  2. UltraPath将IO转发给一个path 1&＃xff08;即SCSI设备&＃xff09;。
  3. 路径故障导致该path 1上IO失败。
  4. UltraPath将IO重新下发给另一个path 2。
  5. path 2返回IO成功。
  6. UltraPath向上层应用返回IO成功。

Failback

• U1traPath在检测到路径故障恢复后会自动重新把I0下发到该路径。
• 路径恢复有两种方式&＃xff1a;
  
  • 对于支持热拔插的系统(如Windows) &＃xff0c;主机与存储之间的链路断开会导致SCSI设备被删除&＃xff0c;相应的在链路恢复后会触发重新创建SCSI设备&＃xff0c;对于这种场景U1traPath可以立即感知到路径恢复&＃xff1b;
  • 对于不支持热拔插的系统&＃xff08;如AIX、低版本的Linux&＃xff09;&＃xff0c;U1 traPath通过周期例测感知路径恢复。

硬盘可靠性

• 电气部分和软件的作用是驱动机械部分完成数据的存取。

硬盘失效分类

• UNC&＃xff1a;Uncorrectable。
• 硬盘坏道产生原因&＃xff1a;
  
  • 逻辑坏道&＃xff0c;如&＃xff1a;磁头附着有污渍,硬盘内部有颗粒粉尘,外界干扰导致磁头飞行不稳定,写操作意外中断&＃xff08;例如断电&＃xff09;,振动等。
  • 物理坏道&＃xff0c;如&＃xff1a;盘片本身有暇疵&＃xff0c;硬盘内部金属颗粒&＃xff0c;外界冲击导致头碟接触&＃xff08;HDI&＃xff09;等。
  • 磁头退化&＃xff0c;如&＃xff1a;磁头遭受静电击穿或过电流ESD/EOS&＃xff0c;磁头来料质量问题&＃xff0c;硬盘工作环境恶劣加速老化&＃xff08;温度高&＃xff0c;电压不稳等&＃xff09;等

硬盘智能扫描和坏道修复

• 硬盘坏道很多是由于写的时候造成&＃xff0c;或者是擦伤&＃xff0c;这些坏道是无法实时发现的&＃xff0c;只能在数据读取时才发现。
• 因此&＃xff0c;硬盘坏道的后台扫描就十分重要了&＃xff0c;否则等数据读取时&＃xff0c;有可能RAID条带上的两个数据都是坏的&＃xff0c;就无法恢复了。
• 硬盘的容量越来越大&＃xff0c;如果简单的逐个扇区扫描&＃xff0c;一次扫描的周期会超过1个月甚至几个月&＃xff0c;实际上就失去了及时发现坏道的效果。
• 华为存储&＃xff0c;研究坏道产生的原理规律&＃xff1a;1、如果一个扇区损坏&＃xff0c;其周围的扇区也可能有损坏&＃xff1b;2、如果某个时间发现坏块&＃xff0c;这段时间内其他扇区发生损坏的概率也高。
• 根据该规律&＃xff0c;设计了跳跃式扫描算法&＃xff1a;间隔跳跃式检查硬盘部分扇区&＃xff0c;但发现坏道时&＃xff0c;检查附近的扇区&＃xff0c;并提升检查速度&＃xff0c;当坏道发现减少时&＃xff0c;降低检查速度。
• 现在后台扫描的准确度和及时率已经提升了数倍。

硬盘智能在线诊断系统

• 优势&＃xff1a;解决NPF问题&＃xff08;由于硬盘Firmware异常&＃xff0c;短暂外部振动等偶发原因导致的硬盘软失效&＃xff09;&＃xff0c;减小RAID失效几率&＃xff0c;最大程度保证业务连续性和数据可靠性。
• 据统计&＃xff0c;SATA硬盘年故障率约为2.5%&＃xff0c;其中70%为可修复坏道。以30天为周期对硬盘进行周期性扫描&＃xff0c;就意味着硬盘坏道每30天被全部发现并修复一次。由此&＃xff0c;可以计算出实现硬盘介质扫描技术之后&＃xff0c;硬盘年故障率可降低到λ&＃61;2.5%×0.3&＃43;2.5%×0.7×30/365&＃61; 0.89%&＃xff0c;Raid组失效率可以降低约1个数量级。
  可以通过两种途径来检测硬盘坏道。
• 读写失败自动分析。硬盘读写失败可能有多种原因&＃xff0c;如硬盘磁头损坏、硬盘接口损坏、连接线缆损坏、硬盘被拔出等。当硬盘读写失败发生时&＃xff0c;存储系统会根据系统当前状态、硬盘当前状态、IO失败信息等进行综合分析&＃xff0c;判断该次读写失败原因是否为硬盘坏道。
• 硬盘介质主动扫描。存储系统还支持硬盘介质后台扫描技术&＃xff0c;利用硬盘空闲周期检查硬盘介质&＃xff0c;及时发现硬盘坏道&＃xff0c;避免累积错误。存储系统的硬盘介质扫描&＃xff0c;摈弃了顺序读取硬盘所有扇区的传统方式&＃xff0c;直接使用硬盘的内建介质扫描功能&＃xff0c;避免了硬盘扫描对后端带宽的占用&＃xff0c;将对系统性能的影响降到最低。当对正在进行介质扫描的硬盘进行读写时&＃xff0c;扫描动作自动停止&＃xff0c;转而处理读写操作&＃xff0c;在读写停止之后&＃xff0c;硬盘可以从之前的断点继续扫描。

硬盘预拷贝

• 硬盘有自身的故障预测机制&＃xff0c;但该机制&＃xff0c;用硬盘厂商自身的话说&＃xff0c;很不准确。
• 因为华为存储&＃xff0c;在硬盘自身机制基础上&＃xff0c;设计了自己的预测机制&＃xff0c;把预测准确度提升了数倍。
• 技术原理&＃xff1a;
  
  • 系统硬盘进行健康监控&＃xff0c;当发现硬盘错误统计超过设定阈值后&＃xff0c;立即报硬盘即将失效
  • RAID组通过拷贝的方式&＃xff0c;将数据从疑似故障盘中迁移到热备空间&＃xff0c;同时向管理人员告警&＃xff0c;提醒更换疑似故障盘。
• 技术优势&＃xff1a;大大降低RAID组重构事件发生的概率&＃xff0c;提高系统的可靠性。

慢IO快速响应

• 硬盘是机械部件&＃xff0c;偶尔一些IO比较慢是正常的&＃xff0c;普通的应用也感觉不到。但对于客户的核心应用来讲&＃xff0c;一般都对访问时延很敏感&＃xff0c;这时慢的IO可能会影响应用甚至业务中断。
• 华为存储&＃xff0c;充分利用RAID技术&＃xff0c;当某些硬盘IO比较慢时&＃xff0c;及时放弃该硬盘IO&＃xff0c;而改用读取其他硬盘的数据来校验生成该盘数据&＃xff0c;从而尽快返回核心应用需要的数据。这样就有效保证了核心应用的业务连续性。
• 技术原理&＃xff1a;
  
  • 硬盘由于处理物理坏道、磁头问题、振动等异常&＃xff0c;内部进行多次retry&＃xff0c;IO响应时间过长&＃xff08;秒级&＃xff09;&＃xff0c;导致业务卡顿或者中断
  • 系统对下发给硬盘的IO进行时间监控&＃xff0c;如果超过设定阈值&＃xff0c;则通过RAID组降级读快速响应主机
• 技术优势&＃xff1a;快速响应业务&＃xff0c;真正支撑对时延敏感的企业核心关键业务

RAID重构技术简介

OceanStor存储系统针对硬盘采用了多重故障容错设计&＃xff0c;具有硬盘在线诊断、DHA&＃xff08;Disk Health Analyzer&＃xff0c;硬盘故障诊断与预警&＃xff09;、坏道后台扫描、坏道修复等多种可靠性保障&＃xff0c;RAID2.0&＃43;技术会根据热备策略自动在硬盘域中预留一定数量的热备空间&＃xff0c;用户无需进行设置&＃xff0c;当系统自动检测到硬盘上某个区域不可修复的介质错误或整个硬盘发生故障时&＃xff0c;系统会自动进行重构&＃xff0c;将受影响的数据块数据快速重构到其他硬盘的热备空间中&＃xff0c;实现系统的快速自愈合。

RAID重构技术原理

• 容量的增长使得传统RAID不得不面临一个严重的问题&＃xff1a;10年前重构一块硬盘可能只需要几十分钟&＃xff0c;而如今重构一块硬盘需要十几甚至几十个小时。越来越长的重构时间使得企业的存储系统在出现硬盘故障时长时间处于非容错的降级状态&＃xff0c;存在极大的数据丢失风险&＃xff0c;存储系统在重构过程中由于业务和重构的双重压力导致数据丢失的案例也屡见不鲜。
• 基于底层块级虚拟化的RAID2.0&＃43;技术由于克服了传统RAID重构的目标盘&＃xff08;热备盘&＃xff09;性能瓶颈&＃xff0c;使得重构数据流的写带宽不再成为重构速度的瓶颈&＃xff0c;从而大大提升了重构速度&＃xff0c;降低了双盘失效的概率&＃xff0c;提升了存储系统的可靠性。
• 图中显示了传统RAID和RAID2.0&＃43;两种技术重构原理的对比&＃xff1a;
  
  • 左图传统RAID中&＃xff0c;HDD0&＃xff5e;HDD4五块硬盘创建RAID5&＃xff0c;HDD5为热备盘&＃xff0c;当HDD1故障后&＃xff0c;HDD0、HDD2、HDD3、HDD4通过异或算法将重构的数据写入HDD5中&＃xff1b;
  • 在右图的RAID2.0&＃43;示意图中&＃xff0c;当HDD1故障后&＃xff0c;故障盘HDD1中的数据按照CK的粒度进行重构&＃xff0c;只重构已分配使用的CK&＃xff08;图中HDD1的CK12 和 CK13&＃xff09;&＃xff0c;存储池中所有的硬盘都参与重构过程&＃xff0c;重构的数据分布在多块硬盘中&＃xff08;图中的HDD4和HDD9&＃xff09;。