热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

海量数据处理_华为OceanStor存储Pacific系列进化论,海量数据的驱动引擎

数据在进化,存储也在进化。达尔文在1859年提出了《进化论》学说,他认为生物不是神创造的,而是经过漫长的岁月从简单到复杂进化来的。《进化论

数据在进化,存储也在进化。

达尔文在1859年提出了《进化论》学说,他认为生物不是神创造的,而是经过漫长的岁月从简单到复杂进化来的。《进化论》一个重点的观点就是:自然选择是进化的动力。

今天这个科技驱动的世界,何尝不是由数据的不断进化所驱动的。科技的进程以几何级数的加速度改变着世界,随着科技的发展,数据不断变大,海量的数据带来了存储介质的进化,才让我们对未来的数字世界有了更多的期待。

4bc6032b0e436058a1e1e16636c3777d.png

2013 出版的《大数据时代》一书中曾预言:“数据可以量化一切,文字变成了数据,方位变成了数据,沟通变成了数据,直到万物的数据化。”时至今日,我们的确看到了这一则预言在不断变成现实,数据价值驱动的数字经济正成为推动社会前进的主要模式。数据驱动的数字化转型成为了全球变革的核心。

在此过程中,数据成为一种新的生产资料,进一步推动了存储的进化。这也是5月28日,华为发布全新一代OceanStor存储Pacific系列,针对日益增长的海量数据需求,推出的新标杆。

海量数据之变

随着数字世界的飞速发展,数据也在不断变“大”。

首先,IDC在2019年的一份调查报告显示:数据海量增长成为一种常态,报告显示,2019年,全球存储新装机容量从EB级达到ZB级,2025年全球新创建的数据将达到175ZB。数据环境多样、复杂,数据从单一内部小数据形态向多元动态大数据发展,大量文本、图片、视频等非结构化数据被产生和存储。例如,在智慧城市场景中,中国的摄像头保有量已经达到亿级,加之交通系统往往会存储相当长时期内的历史数据用于查证和回溯,由此产生的海量新数据给存储系统带来压力。

其次,数字化转型的提速催生大量新应用。数据显示,在2019年中国数字化转型IT支出首次超过非数字化转型IT支出,占比达到51%。随着数字化转型的不断加速,行业新应用爆发式增长,从数千、数万跃升到百万量级,数据呈现出海量、多元、实时、多云等趋势,数据存储成为承载产业转型的基础平台,分布式存储成为趋势。

第三,新兴技术的不断丰富和融合,加剧了海量数据处理的压力。随着云计算、大数据、AI、IoT、5G等新技术的快速发展,使得新应用层出不穷,会产生新的数据形态、新的部署环境、新的应用模式、新的价值需求,让存储的重要性变得比以往更加明显,但挑战也随之变大。无论是AI还是5G,无疑都推动数据,尤其是视频、音频和图片等非结构化数据的再一次爆发,也因此引发了海量数据处理的难题。

海量数据之变,背后则是存储的形态之变。

海量存储之变

如今,数据已成为企业数字化不可或缺的“无形资产”。数据长久以来都作为企业的资产被保存,但由于缺乏有效的数据处理机制,这些大量的数据,分散于各处,难以联通,难以汇聚,发挥不出价值,如何让无形的数据变成有形的生产力,也是新时代的存储要赋予企业的能力。

毫无疑问,企业要做数字化转型必须从数据开始,比如一切与消费者有关的信息被数字化后,才能得以实现商业化应用。而企业在数字化转型的进程中将会面临更复杂的海量数据的难题。比如在视频应用的场景中,传统存储结构主要是以NAS为主,当视频应用发展一个相当大的规模时,面对每年PB级增长的长视频和短视频业务就会感到力不从心。既要管理海量非结构化数据,具备大规模的横向扩展能力,又要适应互联网场景,这就是企业要面对的新挑战。

afe05e298b304c56be2dc2539294d1db.png

华为数据存储与机器视觉产品线总裁周跃峰表示:“海量数据在企业数字化转型中扮演着越来越重要的角色,然而当前只有2%的数据被保存、保存下来的数据只有10%得到分析利用,企业面临海量数据存不下、流不动、管不好的问题。华为OceanStor存储Pacific系列致力于打造海量数据存储新标杆,成为海量数据安心之选。”

事实上,业界对华为OceanStor存储品牌早已耳熟能详。华为OceanStor存储在2002年开始投入研发,经过了18年的发展,目前服务全球超过1万2千名客户,建立了遍布全球的12个研发中心,拥有超过4000名研发工程师,超过800项存储专利,主导和参与30+国际产业组织,华为OceanStor存储研发实力已经遍布全球。

近几年最令人印象深刻的是华为OceanStor存储Dorado系列,在金融行业的落地案例比比皆是。今天,华为OceanStor存储Pacific系列的海量存储的发布,则是华为在OceanStor存储产品线上的又一次全新的突破。

79100ce9d35be2ef969bf30e8ac463e0.png

华为海量存储领域总裁尚海峰在采访中告诉我,“华为始终在追求一种极致,OceanStor存储Dorado系列的目标是极致性能,OceanStor存储Pacific系列则追求的是极致扩展性。”

确如所言,我们看到OceanStor存储Pacific系列产品,充分发挥了华为在存储软、硬件方面的多年积累,在效率、成本和可靠性三个方面实现突破。

首先,在效率方面。打破服务边界,实现业界首个文件、大数据、对象协议无损互通,解决传统网关方式的性能和语义损失问题。以自动驾驶研发为例,一套存储即可支撑多个环节的数据处理,数据无需在多套存储间迁移,业务处理效率提升25%,空间节省20%;打破性能边界,新一代文件系统同时支持高带宽和高OPS应用,适应日益复杂的HPC应用负载。

其次,在经济性方面,打破架构边界,以独创vNode高可靠模式和下一代弹性EC技术,在性能和可靠性不降低的前提下,磁盘利用率达到93%,相比业界平均水平领先40%以上;全新高密大容量节点,在5U空间里支持120块硬盘,密度达到业界通用存储型服务器的2.67倍,空间节省62.5%;热、温、冷数据按需自动分级到闪存、磁盘和蓝光介质,数据自由流动无需人工干预;

第三,在可靠性方面,从数据级、设备级、系统级到方案级的四级可靠性保障机制。全面的亚健康检测与预处理,提前识别故障风险;支持跨集群双活、三站点多活容灾机制,可实现业务跨地域容灾,保证票据影像、在线视频等生产业务7*24小时永远在线。

“可以看到,Pacific系列是华为几代架构师的努力,才实现了效率、成本和可靠三个中点的突破,也为海量数据应用场景打开了通向智能世界的窗。”尚海峰说。

永远站在用户身后

从去年的OceanStor存储Dorado系列,到今年面向海量数据场景的OceanStor存储Pacific系列,我们看到华为不断站在用户的身后,理解需求,并帮助客户解决了实际的业务难题。

edbfe45a9e2943fd3e8b07bdc29b9986.png

华为对存储技术的研发,始终都在追求一种极致,也是行业中最勇于尝试新技术的厂家。例如2011年华为全球首批发布全闪存,2013年发布第一款中国自研的高端存储等等,2017年也是华为是第一家开了数据缩减技术测试性能的厂商,成为全闪存领域的性能标杆。正是敢于第一个吃螃蟹的态度,使得华为存储在过去几年成为了整个市场上的明星。

2016年华为OceanStor存储首次进入Gartner领导者象限,在Gartner2019年最新的市场报告中,华为OceanStor存储排名全球第四,中国区第一,而全闪存存储中国区排名第一,连续8个季度在全球保持第一名的高速增长。

而OceanStor存储Dorado系列一直是华为存储这几年主打的王牌产品,在全球多个大型银行数据中心中,担当了高稳定性和高性能的重要角色。而OceanStor存储Pacific系列则通过更高的扩展性,满足客户不同场景的多样化需求,帮助用户降低海量存储的采购和使用门槛,节省TCO,并以行业场景化需求驱动产品竞争力不断提升,以更好的产品反哺企业的数字化转型,帮助企业释放数据价值。

我们知道,过去在行业里一直有“存储危机论”的存在,这种观点认为,存储在大规模数据中心中的地位在降低。相比于计算的高认知度,存储许处于一个相对的低谷。而存储作为承载企业数据最重要的设备,不再只是物理世界的“记录者”,而是成为了新的生产资料。永远站在用户身后的华为,通过不断地存储技术创新,成为了行业数字化转型的驱动引擎。



推荐阅读
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • 本文介绍了Java工具类库Hutool,该工具包封装了对文件、流、加密解密、转码、正则、线程、XML等JDK方法的封装,并提供了各种Util工具类。同时,还介绍了Hutool的组件,包括动态代理、布隆过滤、缓存、定时任务等功能。该工具包可以简化Java代码,提高开发效率。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识,包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性,外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍,读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行,并且不再受限于特定的语言和部署环境。 ... [详细]
  • 本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面,并总结了项目存在的问题,如前后端未分离、代码混乱等。作者表示希望通过记录和规划,能够理清思路,进一步完善该平台。 ... [详细]
  • sklearn数据集库中的常用数据集类型介绍
    本文介绍了sklearn数据集库中常用的数据集类型,包括玩具数据集和样本生成器。其中详细介绍了波士顿房价数据集,包含了波士顿506处房屋的13种不同特征以及房屋价格,适用于回归任务。 ... [详细]
  • 本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
  • HTML学习02 图像标签的使用和属性
    本文介绍了HTML中图像标签的使用和属性,包括定义图像、定义图像地图、使用源属性和替换文本属性。同时提供了相关实例和注意事项,帮助读者更好地理解和应用图像标签。 ... [详细]
  • Linux如何安装Mongodb的详细步骤和注意事项
    本文介绍了Linux如何安装Mongodb的详细步骤和注意事项,同时介绍了Mongodb的特点和优势。Mongodb是一个开源的数据库,适用于各种规模的企业和各类应用程序。它具有灵活的数据模式和高性能的数据读写操作,能够提高企业的敏捷性和可扩展性。文章还提供了Mongodb的下载安装包地址。 ... [详细]
  • Java在运行已编译完成的类时,是通过java虚拟机来装载和执行的,java虚拟机通过操作系统命令JAVA_HOMEbinjava–option来启 ... [详细]
  • 深度学习中的Vision Transformer (ViT)详解
    本文详细介绍了深度学习中的Vision Transformer (ViT)方法。首先介绍了相关工作和ViT的基本原理,包括图像块嵌入、可学习的嵌入、位置嵌入和Transformer编码器等。接着讨论了ViT的张量维度变化、归纳偏置与混合架构、微调及更高分辨率等方面。最后给出了实验结果和相关代码的链接。本文的研究表明,对于CV任务,直接应用纯Transformer架构于图像块序列是可行的,无需依赖于卷积网络。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
author-avatar
小啊小刺猬0801_302
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有