性能提升40%阿里云神龙大数据加速引擎获TPCxBB世界排名第一

近日&＃xff0c;Benchmark Express-BigBench(简称TPCx-BB)公布了最新的世界排名&＃xff0c;阿里云自主研发的神龙大数据加速器荣获TPCx-BB&＃64;3000世界排名第一。

TPCx-BB测试分为性能与性价比两个维度。其中&＃xff0c;在性能维度&＃xff0c;在本次排名中&＃xff0c;阿里云领先第二名高达41.6&＃xff05;&＃xff0c;达到了2187.42 BBQpm&＃xff0c;性价比领先第二名40&＃xff05;&＃xff0c;降低到346.53 USD/BBQpm。

&＃xff08;TPCx-BB&＃64;3000性能维度排行&＃xff09;

&＃xff08;TPCx-BB&＃64;3000性价比维度排行&＃xff09;

TPCx-BB是由国际标准化测试权威组织(TPC)发布的基于零售业场景构建的端到端大数据测试基准&＃xff0c;支持主流分布式大数据处理引擎&＃xff0c;模拟了整个线上与线下业务流程&＃xff0c;有30个查询语句&＃xff0c;涉及到描述性过程型查询、数据挖掘以及机器学习的算法。TPCx-BB的测试具有数据量大、特征复杂、来源复杂等特点&＃xff0c;与真实业务场景较为接近&＃xff0c;对各行业的基础设施选型有着重要参考意义。

TPCx-BB的测试结果&＃xff0c;可以全面准确的反映端到端的大数据系统的整体运行性能。测试涵盖了结构化、半结构化和非结构化数据&＃xff0c;能够从客户实际场景角度更全面的评估大数据系统软硬件性能、性价比、服务和功耗等各个方面。

阿里云自研的神龙大数据加速引擎MRACC&＃xff08;ApasaraCompute MapReduce Accelerator&＃xff09;&＃xff0c;是这次荣登世界第一的杀手锏。神龙大数据加速引擎&＃xff0c;针对大数据常用组件&＃xff0c;如Spark、Hadoop、Alluxio等,结合阿里云神龙架构的特性&＃xff0c;进行软硬一体化优化&＃xff0c;形成独一无二的性能优势&＃xff0c;最终&＃xff0c;使复杂SQL查询场景性能相比社区版spark提升2-3倍&＃xff0c;使用eRDMA加速Spark性能提升30%。

具体来说&＃xff0c;针对大数据任务重IO特性&＃xff0c;MRACC在网络和存储方面结合云上的架构优势进行软硬件加速&＃xff0c;包括软件的SQL引擎优化&＃xff0c;使用缓存、文件裁剪、索引等优化手段&＃xff0c;并尝试将压缩等运算卸载到异构器件&＃xff1b;还使用eRDMA进行网络加速&＃xff0c;将shuffle阶段的数据交换运行在eRDMA网络&＃xff0c;使得延时降低、CPU利用率大幅提升。

MRACC与神龙云服务器的结合&＃xff0c;给云上大数据带来了新的想象空间&＃xff0c;给用户带来了更高的性能和性价比。

原文链接

本文为阿里云原创内容&＃xff0c;未经允许不得转载。