ICT架构师技术交流 (微信号ICT_Architect)
分析和交流ICT行业最前沿技术,分享更多存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。
关于存储发展趋势的技术讨论贴,发布在微信公众号上后,发现热度显然没有论坛高,今天我来谈谈我的理解和想法。其实这篇文章已经在我的中关村回响专栏发布,但是微信的用户要相对多一些,这里发布看到的读者会更多些。当然,我的部分看法和其他专家也是一致的,在文中也直接引用了,下面我们就开始吧。
在云计算和大数据时代下,人们都把目光聚焦在分布式存储系统、融合架构、大数据云存储SDS技术和开源存储架构上,感觉传统存储架构和技术将被颠覆或新型存储架构所取代。在这种趋势的推动下,大多数企业和客户都尝试采用云服务和这些新型存储系统承载企业业务系统。然而在云和新型存储架构面前,传统存储技术的呼声显得越来越小,似乎已经被这个时代所抛弃。但实际上,在例如医疗HIS系统、银行交易和期权系统等核心业务中,传统存储系统一如既往的提供着无可替代的高可靠、高性能存储服务,为客户关键业务保驾护航、保证业务永续。
分布式系统、开源存储架构、融合架构、大数据云存储和SDS技术的兴起,无疑丰富了企业级存储市场和存储生态环境,但是我们该如何看待传统企业级存储和新型存储技术呢?如何做好业务场景和存储技术匹配呢?又如何定位不同存储技术和产品呢? 下面我们从六个方面来讨论传统存储和新型存储之间的博弈,未来两者的发展方向以及我们该如何去应对。
1、新型存储技术和传统存储在部分市场存在竞争,但在大部分场景下还实现了互补,我们该如何看待这种竞争和互补关系。
随着新型存储技术出现,尤其是分布式系统、ServerSAN、ServerNAS、闪存Start-up和融合架构,让存储领域的正在发生颠覆式的变革和创新。其中最主要的就是分布式存和闪存储技术的引进,给传统存储阵列领域带来了很大的冲击,逼迫传统存储厂商一方面对自己的“存储盒子”不断进行增强和改良,另外,也在加紧研究新型存储技术来维持自己已经建立的市场优势。
新型存储有其不可取代的趋势,如灵活扩展、云接入能力、成本、开放架构和强大性能等等,但是在可靠性、安全性和管理能力方面也存在不足。而在可靠性、安全性、系统稳定性和使用效率上传统企业存储具有先天优势。
在现阶段,新存储技术和传统存储的市场和用户正在发生分化,新存储技术对很多用户来说,接受起来还是会有顾虑存在,而传统存储由于广泛的使用所以用户众多,很多用户也习惯使用传统存储来储存重要的数据。
随着企业新兴应用的需求(Cloud Native、DevOps、Application Centralized)出现,以及新型存储成本不断降低,新型存储技术的发展也志在必得,未来更是大势所趋。随着时间的推移,个人认为在今后至少五年时间内,新型存储对传统存储影响比加大,但取代的可能性不大,就如同磁带和磁盘、HDD和SSD的关系一样,两种存储会融合到一块,各取优势来满足用户的不同需求.
2、哪些业务和场景适合分布式系统、开源存储架构、大数据云存储和SDS,哪些适合传统企业级存储。
新型存储(分布式架构、开源、SDS等)具有海量存储、软件解耦和海量扩展能力,非常适合弹性扩展和海量数据存储场景,在云接入和价格上也有较大优势,开源存储软件如Ceph(Redhat有两个存储软件,Gluster更专注于文件)、vVNX和CoprHD(ViPR开源版)等基于SDS概念设计,只需通用硬件和开源软件就可享受专业存储服务。传统企业存储大多数还保留ASCI/FPGA芯片,在特性优化和可靠性上优势很是比较明显,在金融行等业,HP、EMC和HDS还经常通过Symetric Active Active架构作为打击对手的杀手锏,其主原因就是这类客户最在乎的就是可靠性。但是新型存储如,分布式架构、开源、SDS采用软件解耦,其实本身就降低成本,加上强大的扩展能力,非常适合弹性扩展和海量数据存储场景。
随着云服务器发展,云存储服务都是通过新型存储以云服务NAS、对象(Swift/S3)方式来提供,用户不再需要建立自己的数据中心,只需按需向服务商申请购买存储服务,节约昂贵的软硬件基础设施**。云计算将扩张并走向成熟,会诞生许多新的公共云热点、私有云服务、云应用以及将公共云与私有云联合服务。
站在业务和场景来角度讲,新存储技术更多适用于大数据量的处理和存储,如大数据挖掘、分析、海量数据储存、网盘、以及一些新兴业务和数据长期保留场景,传统企业级存储主要的应用场景是企业的核心数据存储与处理,常见的就是OLTP/OLAP数据库、虚拟机系统盘、核心交易、ERP高性能计算、稳定、事务处理等应用。
3、用户该如何做到场景和存储产品匹配,业务如何从传统存储平滑到新型存储。
存储也将面临传统和新型存储并存的局面,新型存储适应的领域和场景也会逐渐扩展,当传统存储被新型存储替换时,业务如何平滑迁移、保护、如何通过调整后适应新存储的环境将是客户和存储供应商最应该关注的。
首先,当业务从传统存储迁移到新型存储时,用户需要对数据的场景和需求做出详细的分析,针对数据处理的不同特点选择合适的新型存储。
其次,传统存储到新型存储的过渡不但要考虑数据迁移,还需要对业务流程,数据处理和管理模式等方方面面进行调整。
最后,站在技术继承上讲,新型存储技术不但需要考虑够向下兼容性,还需要考虑特性具有可替换性,这样才能够从传统存储过渡到新型存储。存储专业服务在未来会越来越多的成为衡量存储实力的重要标准。我个人认为,传统存储和新型存储的优势也会融合,存储设备未来发展也可能是两种新的架构融合后的产物。
4、传统企业级存储通过什么技术创新来提高产品竞争力(云接入、数据服务平台、生命周期管理等)。
前面已经谈到,传统企业存储也在全力通过改良和更新存储盒子提高竞争力。传统企业级存储云化、云接入的趋势已经很明显了,不管是OpenStack接口,还是CloudArray和Data ONTAP Edge云网关,都为企业提供了更好的平台和解决方案,能够为企业降低建设的投入成本和压力。
数据生命周期管理能力也最大化用户数据价值。以前,客户数据基本都是结构化数据,数据少、增长慢,采用数据库存放;如今,在互联网浪潮下数据都是非结构、半结构化的有价值大数据,数据量大且增长快,数据不可能全部存放在传统或新型存储之上,例如FAST.X和Spectrum Scale,根据数据生命周期和访问策略在不同存储间流动。所以,数据按照生命周期存放在不同成本的设备就很重要。
数据服务能力和服务等级也是云时代下关键特性,把传统存储作为数据服务平台也是大势所趋,如ViPR、DJ、Virtual Storage Center、Workflow Automation等,用户只提存储需求,一切繁琐工作都由数据服务平台智能搞定。我个人认为,云接入技术、数据服务平台和生命周期管理等新的技术创新将提高产品的竞争力。
5、面对新型存储技术和传统存储,我们如何在价格、可靠性等诸多因素中折中选择。
数据企业来讲意味着一切,如何选择适合自己的存储技术是企业面临的难点。企业应结合自身的特点,选择一种最适合的数据存储和保护方式。
存储的选择不仅要从场景、数据量、安全性、稳定性、存储性能等方面考虑。还需从预算成本、应用类型、容量的增长性情况、扩展情况等因素来综合考虑,只有综合的进行考虑才能选择合理的方案。随着市场竞争压力变大,价格是一个敲门砖,但是价格也需要跟可靠性等诸多因素一起考虑、灵活应用。
6、SSD在传统存储和新型存储中都扮演着重要角色,但SSD的性能价值该如何发挥,SSD未来发展趋势又如何。
SSD的出现使得存储性能今非昔比,无论在传统存储还是新型存储,SSD永远都是讨论的焦点。面对SSD的竞争,SSD更大的容量、更低的单位容量成本,使得SSD变成一种必选项,很多厂商通过闪存替换HDD或闪存风暴的口号,争取对闪存的控制力和话语权。
在技术进步的驱动下,无论HDD硬盘还是SSD的容量都在持续增长,但两者的成长速度不同。硬盘容量的成长取决于磁录技术进步所带来的磁录密度,而SSD的容量成长则取决于半导体制程技术的进展。相较于硬盘磁录技术,半导体制程技术的进步更快,也给SSD带来更快的容量成长速度。
虽然传统存储可以通过SSD Cache和Tiering技术提升存储性能,但是为了发挥SSD高性能、随机访问的优势,存储系统(闪存系统)还需要针对SSD进行专门设计才行。原因主要在于:
数据存取方式发生了变化——闪存不再要求顺序数据存取。
请求响应时延发生了量变——闪存的数据存取时延是us 级别,而机械硬盘是ms级别,相差数十到数百倍。
系统性能瓶颈发生了迁移——由硬盘迁移到了阵列控制器。
介质磨损寿命发生了变化——机械硬盘同一物理位置的磨损近似于无限,而闪存的磨损次数为数千至数万次不等。
需要考虑系统性能瓶颈——避免各种针对机械硬盘的高复杂读CACHE算法,通过降低CACHE算法复杂度来减小CPU开销和阵列软件处理时延;尽量采用横向扩展方式来追加性能和容量。
需要考虑整体使用寿命——需要在阵列层面进行全局磨损均衡;需要考虑各种减小写放大的方法,例如在线重删/压缩、分条聚合等。
文章已经同步至微信“ICT架构师技术交流”公众号,关注公众号获取更多精彩技术内容。