从大数据挖掘大智慧，华为创造AI时代速度新高度

今天&＃xff0c;我们正在进入大数据的新时代。在刚刚结束的2019数博会上&＃xff0c;专家指出人类正式进入了数据时代&＃xff0c;数字经济成为当今时代发展最快创新最活跃&＃xff0c;辐射最广泛的经济活动&＃xff0c;正在深刻的改变着人类的生产和生活方式。2018年我国数字经济规模达到了31.3万亿元&＃xff0c;占GDP比重达34.8%。更进一步&＃xff0c;5G、人工智能、大数据、移动互联网、物联网和云计算等新技术正协同融合点燃新时代引擎&＃xff0c;为推动数字经济提供新动能。

作为数字经济的“燃料”&＃xff0c;大数据中有大智慧&＃xff0c;这是自2015年首届数博会就已经在全社会形成了广泛的共识。然而&＃xff0c;从大数据中挖掘大智慧却并不容易。以人工智能为代表的分布式计算&＃xff0c;被视为大智慧的普惠型挖掘方式。近年来&＃xff0c;中国人工智能产业的发展迅速高于全球平均水平&＃xff0c;但用好人工智能、真正发挥人工智能的商业价值却难。其中一个重要的原因&＃xff0c;是承载人工智能计算的传统数据中心网络&＃xff0c;正在遭遇AI算法的重大挑战。

今年华为发布了业界首款面向AI时代的数据中心交换机CloudEngine 16800&＃xff0c;推动了数据中心的网络数据流量交换从云时代向AI时代的演进。基于CloudEngine系列交换机内嵌高性能AI芯片和独创的iLossless智能无损交换算法&＃xff0c;华为推出AI Fabric智能无损数据中心网络解决方案&＃xff0c;实现了零丢包、低时延和高吞吐的极致网络性能&＃xff0c;100%发挥AI算力&＃xff0c;全面解决AI算法带来的数据网络交换挑战。2019年4月&＃xff0c;华为CloudEngine交换机荣获Gartner Peer Insights平台数据中心网络“客户之选”称号。这是Gartner在分析了来自拥有购买、实施和运营相关解决方案的客户的评论后得出的结论。

(华为数据中心交换机CloudEngine 16800系列)

通过AI人工智能挖掘海量数据的智慧&＃xff0c;这是AI时代的最重要主题。人工智能和机器学习&＃xff0c;从2016年AlphaGo的全球热潮&＃xff0c;到各大技术厂商和云服务商推出各种AI算法、计算服务、软硬件设备和开源框架&＃xff0c;已经在2019年形成了一个完整的商业化体系。华为GIV预测&＃xff0c;到2025年&＃xff0c;企业对AI的采用率将达到86%。越来越多的企业将AI视为新商业智慧的来源&＃xff0c;利用AI协助决策、重建客户体验、重塑商业模式和生态系统&＃xff0c;推动数字化转型。

AI要发挥和创造真正的商业价值&＃xff0c;数据、算法和算力是三大关键挑战&＃xff0c;而企业的数据中心则是大智慧的“挖掘机”和“智能&＃43;”引擎。传统企业数据中心&＃xff0c;主要是处理事务型计算&＃xff0c;特别是以ERP、CRM、数据仓库等为代表的企业级应用。而随着AI计算大量进入到企业的数据中心&＃xff0c;数据中心正从快速业务处理型向高效数据处理型转型。而计算、存储与网络&＃xff0c;这传统数据中心“三大件”&＃xff0c;就面临重大的转型挑战&＃xff0c;其中的网络是最难也是最关键的挑战。

实际上&＃xff0c;随着传统数据中心的云化&＃xff0c;即分布式架构化&＃xff0c;为了满足人工智能分布式海量计算的需求&＃xff0c;除了新型服务器和存储技术外&＃xff0c;还需要满足海量计算的分布式信息交互需求&＃xff0c;对通信量和通信性能的需求变得非常苛刻。Facebook曾对分布式机器学习平台Caffe2进行过测试&＃xff0c;采用最新的多GPU服务器加速&＃xff0c;8台服务器的计算任务就导致100Gbps Infiniband网络出现了资源不足而难以实现多节点的线性计算加速效果&＃xff0c;网络性能正在严重制约人工智能算法发挥效用&＃xff0c;更不用说实时人工智能计算了。

当前&＃xff0c;随着数据中心工作负载的显著变化&＃xff0c;数据中心的网络已经进行了很多技术变革&＃xff0c;包括&＃xff1a;低时延、高带宽的25GbE、40 GbE和100 GbE交换机以及更高速率的400 GbE交换机&＃xff1b;升级到更高呑吐量的服务器网卡&＃xff1b;InfiniBand、以太网、RDMA等各种网络通信协议&＃xff0c;混合适应不同工作负载要求&＃xff1b;显式拥塞通知&＃xff08;ECN&＃xff09;、流量控制&＃xff08;PFC&＃xff09;、以太网数据中心桥接&＃xff08;DCB&＃xff09;扩展等算法以改进交换机的缓冲资源管理&＃xff0c;以及RoCE协议等支持零丢包消息传递等&＃xff1b;此外还有虚拟化、SDN软件定义网络、基于AI/ML优化的自动化等。

总体来说&＃xff0c;数据中心作为AI“挖掘机”&＃xff0c;其网络技术生态已经陆续发生了变革&＃xff0c;随着云计算以及AI/ML等新算法及应用的兴起&＃xff0c;需要整体的网络技术生态管理&＃xff0c;才能最大发挥AI算法&＃xff0c;让AI创造真正的商业价值。

&＃xff08;深圳机场&＃xff09;

为了满足AI时代的数据高效处理需求&＃xff0c;应用分布式架构挑战&＃xff0c;下一代数据中心网络具有三大核心诉求&＃xff1a;零丢包、低时延、高呑吐。基于CloudEngine系列交换机&＃xff0c;华为开发了面向人工智能时代数据中心的AI Fabric智能无损数据中心网络解决方案&＃xff0c;以满足AI对于数据中心网络通信的变革要求。AI Fabric依靠AI智能芯片以及独特的iLossless智能无损交换算法&＃xff0c;实现了零丢包、高呑吐和超低时延&＃xff0c;为AI构建了一个统一融合的高效数据中心网络。

CloudEngine系列是华为公司面向下一代数据中心推出的“云和AI”级高性能交换机&＃xff0c;包括业界首款面向AI时代的数据中心交换机CloudEngine 16800系列、高配置的旗舰级核心交换机CloudEngine 12800系列&＃xff0c;高性能的汇聚/接入交换机CloudEngine 8800/7800/6800/5800系列&＃xff0c;以及虚拟交换机CloudEngine 1800V。CloudEngine系列软件平台基于华为新一代的VRP8操作系统&＃xff0c;支持丰富的数据中心和园区业务特性。

CloudEngine 16800全面升级了硬件交换平台&＃xff0c;突破超高速信号传输、超强散热、高效供电等多项技术难题&＃xff0c;单槽位可提供业界最高密度48端口400GE线卡&＃xff0c;单机提供业界最大的768端口400GE交换容量&＃xff0c;交换能力高达业界平均的5倍&＃xff0c;满足AI时代流量倍增需求&＃xff0c;同时单比特功耗下降50%、更绿色节能。而基于内置的AI芯片&＃xff0c;CloudEngine 16800可大幅度提升设备级的智能化水平&＃xff0c;让交换机具备本地推理和实时快速决策的能力&＃xff0c;可构建分布式AI运维架构&＃xff0c;实现秒级故障识别和分钟级故障自动定位&＃xff0c;加速自动驾驶网络的到来。

基于CloudEngine系列特别是CloudEngine 16800&＃xff0c;华为AI Fabric独创的算法&＃xff0c;在保证零丢包的基础上&＃xff0c;可实现最高吞吐和最低时延。业界通用的无损网络技术&＃xff0c;难以同时满足零丢包、低时延和高吞吐这三个要求&＃xff0c;因为这三个指标相互影响&＃xff0c;存在着“跷跷板”效应。而在零丢包、低时延和高吞吐这三个指标背后&＃xff0c;核心技术就是拥塞控制算法。华为独创的iLossless智能无损算法&＃xff0c;通过动态ECN拥塞水线、Fast CNP快速拥塞反馈、VIQ虚拟输入队列等&＃xff0c;最大程度满足了三个核心要求。

面对动态流量和海量参数的挑战&＃xff0c;华为一方面投入研究团队分析各种应用&＃xff0c;提炼出流量模型特征&＃xff0c;另一方面通过交换机集成AI芯片实时采集流量特征和网络状态&＃xff0c;基于AI算法、本地实时决策以及动态调整网络参数配置&＃xff0c;合理高效利用交换机缓存、实现零丢包。加上智能分析平台FabricInsight&＃xff0c;基于全局采集到的流量特征和网络状态数据&＃xff0c;结合AI算法&＃xff0c;对未来流量模型进行预测&＃xff0c;从全局角度实时校正网卡和网络的参数配置。

根据第三方权威测试机构EANTC&＃xff08;欧洲高级网络测试中心&＃xff0c;被公认为全球领先的电信独立测试中心之一&＃xff09;在2018年6月的测试&＃xff0c;AI Fabric可以在HPC高性能计算场景下&＃xff0c;最高降低44.3%的计算时延&＃xff0c;在分布式存储场景下提升25%的IOPS能力&＃xff0c;在所有场景保证网络零丢包。华为AI Fabric通过了EANTC的高性能数据中心基准测试&＃xff0c;支持无丢包的消息传递和文件存储用例&＃xff0c;高效地处理时延敏感的应用程序。在HPC和DFS基准测试中&＃xff0c;华为AI Fabric在启用动态ECN时成功处理了数据中心混合流量&＃xff0c;此外该解决方案对网络链路故障具有良好的弹性恢复能力。

另一家国际权威评测机构AvidThink在2019年出具的一份研究报告&＃xff0c;指出华为AI Fabric是一种为数据中心以太网架构增值的创新方案&＃xff0c;通过利用交换机内现有的资源&＃xff0c;以及智能和自适应的管理技术来提升性能&＃xff0c;包括利用AI来提供快速的故障解决&＃xff0c;也受将到许多数据中心运营商的欢迎。AvidThink认为&＃xff0c;如今的数据中心设备存在着很多的参数调优&＃xff0c;人们很难找到正确的设置以优化数据中心负载。而随着负载的演变&＃xff0c;人们更加不可能跟踪这些演变并不断优化Fabric设置。华为CloudEngine 16800核心交换机&＃xff0c;通过嵌入式AI芯片和机器学习&＃xff0c;在整个Spine-leaf&＃xff08;“脊-叶”&＃xff09;数据中心网络中自动调整端到端的性能&＃xff0c;使用测试收集的数据构建初始模型&＃xff0c;并根据客户的负载情况进行调整&＃xff0c;最终提供最佳的端到端的无损性能。

2019年2月&＃xff0c;华为委托国际权威测试机构Tolly&＃xff0c;在三大应用场景&＃xff08;HPC高性能计算、分布式AI训练以及分布式存储&＃xff09;中&＃xff0c;对华为AI Fabric解决方案进行了性能评估&＃xff0c;并与思科Nexus交换机组网的性能进行了对比。华为和思科的方案均基于RDMA over Converged Ethernet&＃xff08;RoCEv2&＃xff09;&＃xff0c;在所有三大场景中&＃xff0c;华为AI Fabric解决方案的性能均优于思科。

进入2019年&＃xff0c;人工智能应用和数字经济建设面临着提质增速见实效的换档升级阶段。随着全社会积聚了越来越多的大数据&＃xff0c;如何高效用好大数据和人工智能&＃xff0c;为数字经济和数字化转型创造真正的价值&＃xff0c;这就需要新的AI高速路。而华为新一代的CloudEngine网络交换设备以及AI Fabric解决方案&＃xff0c;为AI时代创造速度新高度&＃xff0c;帮助企业从大数据中真正挖掘大智慧。&＃xff08;文/宁川&＃xff09;