热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

云时代下,传统和新型存储的博弈已经开始

云时代下,传统和新型存储的博弈已经开始ICT架构师技术交流(微信号ICT_Architect)分析和交流ICT行业最前沿技术,分享更多存储


云时代下,传统和新型存储的博弈已经开始

ICT架构师技术交流 (微信号ICT_Architect)

分析和交流ICT行业最前沿技术,分享更多存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。

云时代下,传统和新型存储的博弈已经开始

云时代下,传统和新型存储的博弈已经开始

关于存储发展趋势的技术讨论贴,发布在微信公众号上后,发现热度显然没有论坛高,今天我来谈谈我的理解和想法。其实这篇文章已经在我的中关村回响专栏发布,但是微信的用户要相对多一些,这里发布看到的读者会更多些。当然,我的部分看法和其他专家也是一致的,在文中也直接引用了,下面我们就开始吧。

在云计算和大数据时代下,人们都把目光聚焦在分布式存储系统、融合架构、大数据云存储SDS技术和开源存储架构上,感觉传统存储架构和技术将被颠覆或新型存储架构所取代。在这种趋势的推动下,大多数企业和客户都尝试采用云服务和这些新型存储系统承载企业业务系统。然而在云和新型存储架构面前,传统存储技术的呼声显得越来越小,似乎已经被这个时代所抛弃。但实际上,在例如医疗HIS系统、银行交易和期权系统等核心业务中,传统存储系统一如既往的提供着无可替代的高可靠、高性能存储服务,为客户关键业务保驾护航、保证业务永续。

云时代下,传统和新型存储的博弈已经开始

分布式系统、开源存储架构、融合架构、大数据云存储和SDS技术的兴起,无疑丰富了企业级存储市场和存储生态环境,但是我们该如何看待传统企业级存储和新型存储技术呢?如何做好业务场景和存储技术匹配呢?又如何定位不同存储技术和产品呢? 下面我们从六个方面来讨论传统存储和新型存储之间的博弈,未来两者的发展方向以及我们该如何去应对。

1、新型存储技术和传统存储在部分市场存在竞争,但在大部分场景下还实现了互补,我们该如何看待这种竞争和互补关系。

随着新型存储技术出现,尤其是分布式系统、ServerSAN、ServerNAS、闪存Start-up和融合架构,让存储领域的正在发生颠覆式的变革和创新。其中最主要的就是分布式存和闪存储技术的引进,给传统存储阵列领域带来了很大的冲击,逼迫传统存储厂商一方面对自己的“存储盒子”不断进行增强和改良,另外,也在加紧研究新型存储技术来维持自己已经建立的市场优势。

新型存储有其不可取代的趋势,如灵活扩展、云接入能力、成本、开放架构和强大性能等等,但是在可靠性、安全性和管理能力方面也存在不足。而在可靠性、安全性、系统稳定性和使用效率上传统企业存储具有先天优势。

在现阶段,新存储技术和传统存储的市场和用户正在发生分化,新存储技术对很多用户来说,接受起来还是会有顾虑存在,而传统存储由于广泛的使用所以用户众多,很多用户也习惯使用传统存储来储存重要的数据。

随着企业新兴应用的需求(Cloud Native、DevOps、Application Centralized)出现,以及新型存储成本不断降低,新型存储技术的发展也志在必得,未来更是大势所趋。随着时间的推移,个人认为在今后至少五年时间内,新型存储对传统存储影响比加大,但取代的可能性不大,就如同磁带和磁盘、HDD和SSD的关系一样,两种存储会融合到一块,各取优势来满足用户的不同需求.

2、哪些业务和场景适合分布式系统、开源存储架构、大数据云存储和SDS,哪些适合传统企业级存储。

新型存储(分布式架构、开源、SDS等)具有海量存储、软件解耦和海量扩展能力,非常适合弹性扩展和海量数据存储场景,在云接入和价格上也有较大优势,开源存储软件如Ceph(Redhat有两个存储软件,Gluster更专注于文件)、vVNX和CoprHD(ViPR开源版)等基于SDS概念设计,只需通用硬件和开源软件就可享受专业存储服务。传统企业存储大多数还保留ASCI/FPGA芯片,在特性优化和可靠性上优势很是比较明显,在金融行等业,HP、EMC和HDS还经常通过Symetric Active Active架构作为打击对手的杀手锏,其主原因就是这类客户最在乎的就是可靠性。但是新型存储如,分布式架构、开源、SDS采用软件解耦,其实本身就降低成本,加上强大的扩展能力,非常适合弹性扩展和海量数据存储场景。

随着云服务器发展,云存储服务都是通过新型存储以云服务NAS、对象(Swift/S3)方式来提供,用户不再需要建立自己的数据中心,只需按需向服务商申请购买存储服务,节约昂贵的软硬件基础设施**。云计算将扩张并走向成熟,会诞生许多新的公共云热点、私有云服务、云应用以及将公共云与私有云联合服务。

站在业务和场景来角度讲,新存储技术更多适用于大数据量的处理和存储,如大数据挖掘、分析、海量数据储存、网盘、以及一些新兴业务和数据长期保留场景,传统企业级存储主要的应用场景是企业的核心数据存储与处理,常见的就是OLTP/OLAP数据库、虚拟机系统盘、核心交易、ERP高性能计算、稳定、事务处理等应用。

3、用户该如何做到场景和存储产品匹配,业务如何从传统存储平滑到新型存储。

存储也将面临传统和新型存储并存的局面,新型存储适应的领域和场景也会逐渐扩展,当传统存储被新型存储替换时,业务如何平滑迁移、保护、如何通过调整后适应新存储的环境将是客户和存储供应商最应该关注的。

首先,当业务从传统存储迁移到新型存储时,用户需要对数据的场景和需求做出详细的分析,针对数据处理的不同特点选择合适的新型存储。

其次,传统存储到新型存储的过渡不但要考虑数据迁移,还需要对业务流程,数据处理和管理模式等方方面面进行调整。

最后,站在技术继承上讲,新型存储技术不但需要考虑够向下兼容性,还需要考虑特性具有可替换性,这样才能够从传统存储过渡到新型存储。存储专业服务在未来会越来越多的成为衡量存储实力的重要标准。我个人认为,传统存储和新型存储的优势也会融合,存储设备未来发展也可能是两种新的架构融合后的产物。

4、传统企业级存储通过什么技术创新来提高产品竞争力(云接入、数据服务平台、生命周期管理等)。

前面已经谈到,传统企业存储也在全力通过改良和更新存储盒子提高竞争力。传统企业级存储云化、云接入的趋势已经很明显了,不管是OpenStack接口,还是CloudArray和Data ONTAP Edge云网关,都为企业提供了更好的平台和解决方案,能够为企业降低建设的投入成本和压力。

云时代下,传统和新型存储的博弈已经开始

数据生命周期管理能力也最大化用户数据价值。以前,客户数据基本都是结构化数据,数据少、增长慢,采用数据库存放;如今,在互联网浪潮下数据都是非结构、半结构化的有价值大数据,数据量大且增长快,数据不可能全部存放在传统或新型存储之上,例如FAST.X和Spectrum Scale,根据数据生命周期和访问策略在不同存储间流动。所以,数据按照生命周期存放在不同成本的设备就很重要。

数据服务能力和服务等级也是云时代下关键特性,把传统存储作为数据服务平台也是大势所趋,如ViPR、DJ、Virtual Storage Center、Workflow Automation等,用户只提存储需求,一切繁琐工作都由数据服务平台智能搞定。我个人认为,云接入技术、数据服务平台和生命周期管理等新的技术创新将提高产品的竞争力。

5、面对新型存储技术和传统存储,我们如何在价格、可靠性等诸多因素中折中选择。

数据企业来讲意味着一切,如何选择适合自己的存储技术是企业面临的难点。企业应结合自身的特点,选择一种最适合的数据存储和保护方式。

存储的选择不仅要从场景、数据量、安全性、稳定性、存储性能等方面考虑。还需从预算成本、应用类型、容量的增长性情况、扩展情况等因素来综合考虑,只有综合的进行考虑才能选择合理的方案。随着市场竞争压力变大,价格是一个敲门砖,但是价格也需要跟可靠性等诸多因素一起考虑、灵活应用。

6、SSD在传统存储和新型存储中都扮演着重要角色,但SSD的性能价值该如何发挥,SSD未来发展趋势又如何。

SSD的出现使得存储性能今非昔比,无论在传统存储还是新型存储,SSD永远都是讨论的焦点。面对SSD的竞争,SSD更大的容量、更低的单位容量成本,使得SSD变成一种必选项,很多厂商通过闪存替换HDD或闪存风暴的口号,争取对闪存的控制力和话语权。

在技术进步的驱动下,无论HDD硬盘还是SSD的容量都在持续增长,但两者的成长速度不同。硬盘容量的成长取决于磁录技术进步所带来的磁录密度,而SSD的容量成长则取决于半导体制程技术的进展。相较于硬盘磁录技术,半导体制程技术的进步更快,也给SSD带来更快的容量成长速度。

云时代下,传统和新型存储的博弈已经开始

虽然传统存储可以通过SSD Cache和Tiering技术提升存储性能,但是为了发挥SSD高性能、随机访问的优势,存储系统(闪存系统)还需要针对SSD进行专门设计才行。原因主要在于:

数据存取方式发生了变化——闪存不再要求顺序数据存取。

请求响应时延发生了量变——闪存的数据存取时延是us 级别,而机械硬盘是ms级别,相差数十到数百倍。

系统性能瓶颈发生了迁移——由硬盘迁移到了阵列控制器。

介质磨损寿命发生了变化——机械硬盘同一物理位置的磨损近似于无限,而闪存的磨损次数为数千至数万次不等。

需要考虑系统性能瓶颈——避免各种针对机械硬盘的高复杂读CACHE算法,通过降低CACHE算法复杂度来减小CPU开销和阵列软件处理时延;尽量采用横向扩展方式来追加性能和容量。

需要考虑整体使用寿命——需要在阵列层面进行全局磨损均衡;需要考虑各种减小写放大的方法,例如在线重删/压缩、分条聚合等。


文章已经同步至微信“ICT架构师技术交流”公众号,关注公众号获取更多精彩技术内容。


推荐阅读
  • 本文详细介绍了如何搭建一个高可用的MongoDB集群,包括环境准备、用户配置、目录创建、MongoDB安装、配置文件设置、集群组件部署等步骤。特别关注分片、读写分离及负载均衡的实现。 ... [详细]
  • 本文作为《WM平台上使用Sybase Anywhere 11》系列的第二篇,将继续探讨在Windows Mobile (WM) 系统中如何高效地操作Sybase Anywhere 11数据库。继上一篇关于安装与基本测试的文章之后,本篇将深入讲解数据库的具体操作方法。 ... [详细]
  • Nacos 0.3 数据持久化详解与实践
    本文详细介绍了如何将 Nacos 0.3 的数据持久化到 MySQL 数据库,并提供了具体的步骤和注意事项。 ... [详细]
  • 本文详细介绍了 InfluxDB、collectd 和 Grafana 的安装与配置流程。首先,按照启动顺序依次安装并配置 InfluxDB、collectd 和 Grafana。InfluxDB 作为时序数据库,用于存储时间序列数据;collectd 负责数据的采集与传输;Grafana 则用于数据的可视化展示。文中提供了 collectd 的官方文档链接,便于用户参考和进一步了解其配置选项。通过本指南,读者可以轻松搭建一个高效的数据监控系统。 ... [详细]
  • 本文介绍了如何利用Shell脚本高效地部署MHA(MySQL High Availability)高可用集群。通过详细的脚本编写和配置示例,展示了自动化部署过程中的关键步骤和注意事项。该方法不仅简化了集群的部署流程,还提高了系统的稳定性和可用性。 ... [详细]
  • 本文详细介绍了Oracle 11g中的创建表空间的方法,以及如何设置客户端和服务端的基本配置,包括用户管理、环境变量配置等。 ... [详细]
  • CentOS下ProFTPD的安装与配置指南
    本文详细介绍在CentOS操作系统上安装和配置ProFTPD服务的方法,包括基本配置、安全设置及高级功能的启用。 ... [详细]
  • 从理想主义者的内心深处萌发的技术信仰,推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]
  • 本文探讨了如何通过Service Locator模式来简化和优化在B/S架构中的服务命名访问,特别是对于需要频繁访问的服务,如JNDI和XMLNS。该模式通过缓存机制减少了重复查找的成本,并提供了对多种服务的统一访问接口。 ... [详细]
  • 本文详细介绍了在Linux操作系统上安装和部署MySQL数据库的过程,包括必要的环境准备、安装步骤、配置优化及安全设置等内容。 ... [详细]
  • 本文介绍了如何在两个Oracle数据库(假设为数据库A和数据库B)之间设置DBLink,以便能够从数据库A中直接访问和操作数据库B中的数据。文章详细描述了创建DBLink前的必要准备步骤以及具体的创建方法。 ... [详细]
  • 检查 Kubernetes 系统命名空间中的 Pod 状态时,发现 Metric Server Pod 虽然处于运行状态,但存在异常:日志显示 'it doesn’t contain any IP SANs'。 ... [详细]
  • 在ElasticStack日志监控系统中,Logstash编码插件自5.0版本起进行了重大改进。插件被独立拆分为gem包,每个插件可以单独进行更新和维护,无需依赖Logstash的整体升级。这不仅提高了系统的灵活性和可维护性,还简化了插件的管理和部署过程。本文将详细介绍这些编码插件的功能、配置方法,并通过实际生产环境中的应用案例,展示其在日志处理和监控中的高效性和可靠性。 ... [详细]
  • 如何在Django框架中实现对象关系映射(ORM)
    本文介绍了Django框架中对象关系映射(ORM)的实现方式,通过ORM,开发者可以通过定义模型类来间接操作数据库表,从而简化数据库操作流程,提高开发效率。 ... [详细]
  • 优化后的标题:深入探讨网关安全:将微服务升级为OAuth2资源服务器的最佳实践
    本文深入探讨了如何将微服务升级为OAuth2资源服务器,以订单服务为例,详细介绍了在POM文件中添加 `spring-cloud-starter-oauth2` 依赖,并配置Spring Security以实现对微服务的保护。通过这一过程,不仅增强了系统的安全性,还提高了资源访问的可控性和灵活性。文章还讨论了最佳实践,包括如何配置OAuth2客户端和资源服务器,以及如何处理常见的安全问题和错误。 ... [详细]
author-avatar
lx比比2502869217
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有