骁龙888每秒26万亿次运算的第六代AI引擎，玩出了什么新花样？

智能手机推动了AI的普及，AI美颜、AI夜景、AI语音助手等功能也让众多消费者感受到了AI的乐趣，雷锋网此前的文章《拯救拍照手残党，告别选择困难！手机AI还有这么多新奇玩法》曾介绍过。

动图主要展示效果，画质有压缩

随着手机AI引擎的快速提升，旗舰移动平台的AI体验也达到了新的高度。

以旗舰移动平台高通骁龙8系列为例，去年推出的骁龙865的AI性能已经达到了每秒15万亿次运算（15 TOPS），是骁龙855的2倍，相比骁龙845提升达5倍。本月最新推出的骁龙888，AI性能高达26 TOPS，同时每瓦特性能相比骁龙865提升了3倍。

手机需要高达26 TOPS的AI性能吗？这么高的AI算力能玩出什么新花样？

高通技术公司产品管理副总裁Ziad Asghar的答案是：“AI性能大幅提升的主要来自客户的需求，他们期待看到AI在新领域实现应用，比如视频、游戏、安全等。”

26 TOPS顶级AI性能让4K视频也能再创作

更高的AI性能自然要让拍照体验再上一个台阶，特别是骁龙888已经将双ISP升级为三ISP，Qualcomm Spectra 580 ISP就让智能手机的图像质量达到全新水平。

比如，在低环境光下，Spectra 580的速度结合骁龙888集成的第六代高通AI引擎，仅0.1Lux的照度，也拍摄出细节惊人的照片。以往，在近乎黑暗的场景下，即便找到可用的光源，保持手机稳定，拍摄的效果也未必理想，有了骁龙888的三ISP加上高性能AI，就能拍出清晰明亮的照片。

相比极端环境下的拍照，根据场景自动对焦、自动曝光和自动白平衡的3A算法日常使用的频率更高。同样是最新推出的高通第十代3A算法，首次融合了AI，能基于特征分析更快、更准的自动对焦和自动曝光。

没有融合AI的3A算法对焦

骁龙888融合AI 3A算法的快速对焦

更方便的是，虹软基于Spectra 580和第六代高通AI引擎推出的“傻瓜相机”，可以自动跟踪人物，自动缩放带来真正的“傻瓜相机”体验。

虹软“傻瓜相机”

能够让手机拍照如此智能的第六代高通AI引擎，非常关键的组成部分是Hexagon 780处理器。Hexagon 780延续了高通AI引擎标量、张量和向量加速器的异构架构，同时又进行了升级，让加速器之间的物理距离几乎消失。

不仅如此，高通还让三个加速器拥有了一个很大的共享内存，让数据可以更快、更高效的共享和移动。由此带来的是，在某些用例中，数据交互时效最多提高上千倍。

加速器间更小的物理距离和很大的共享内存，无论对AI性能提升还是降低功耗都非常有利。这是因为，在AI计算中，数据搬运的耗能远大于计算。而电池供电的手机对于用最少能耗实现最高性能有更迫切的需求。

Hexagon 780的标量加速器性能相比前代提升50%，张量加速器速度是前代的2倍。作为第六代AI引擎的一部分，最新的Adreno 660 GPU AI性能也提升了43%。另外，通过新的指令集，如4输入混合精度点积，以及波浪矩阵乘法，能够加快浮点运算。

最终，第六代高通AI引擎的性能大幅提升至26 TOPS，并且，每瓦特性能比前代提升3倍。这意味着，第六代高通AI引擎兼顾了高性能和低耗能。

26 TOPS的第六代高通AI引擎，在提升AI拍照体验之余，已经能够再创作4K视频。无论是从原始视频中删除一个任务、重建一个背景，还是将新的人物插入到视频场景中，一切看起来都很自然。

高通与Tetras.AI公司的合作，实现了以30fps的速度在每一帧画面中实时去除背景，分辨率最高可以达到4K。

 

借助Super Movie应用，无论是想和击剑冠军对抗，还是T台走秀都变得轻而易举，还能先预览再开始表演和录制。

传感器中枢让手机更智能

26 TOPS的AI性能能让4K视频的再创作也变得轻松，也能让游戏也变得更加流畅。但并非所有的AI功能都需要超强的AI性能，那些随时待命的AI功能，像语音助理，对性能的要求不高，但对功耗要求苛刻。

去年，骁龙865首次集成了传感器中枢，今年骁龙888的传感器中枢升级到第二代。高通第二代传感器中枢中集成的专用低功耗AI处理器性能提升达到5倍，但功耗不到1毫安。传感器中枢额外的AI性能可以分担Hexagon 780处理器80%的工作负载，满足各种AI性能需求应用的同时，兼顾低功耗。

一个很好的例子是，利用高通第二代传感器中枢，能够减少Hexagon处理器上“Ok，Google”侦测算法38%的负载。

高通第二代传感器中枢还是让手机更加智能的关键所在，因为新一代的传感器中枢可以从手机所有部分，包括麦克风等传感器以及连接功能实时收集数据，并创建情境感知的应用。

有两个例子，高通与Audio Analytic的合作让手机可以识别周围的声学场景，根据所处的环境调节铃声音量，这样从嘈杂的咖啡厅切换到安静的会议室就不会再出现尴尬的情况。

另一个例子是高通与Mobilize Solutions合作，让手机可以根据所处的位置，推荐适合特殊场景的社交媒体滤镜。

传感器中枢还有更多潜能，在没有信号的停车场通过手机追踪停车的位置，或者通过手机上的红外传感器检测皮肤状态获得合适的护肤品推荐都是很好的探索。高通第二代传感器中枢还可以结合5G、Wi-Fi、蓝牙等新增的数据源，创造更多智能应用。

这就需要更加灵活和易用的软件。

手机AI创新的大时代到来

高通是首个将终端侧AI SDK推向市场的公司，高通的神经网络处理SDK已经在全球超过5亿台安卓终端上为AI功能提供支持。第六代高通神经网络处理SDK不仅支持更多模型，对搭载骁龙平台的笔记本的AI用例也实现了支持。

当然，为了让开发者能够轻松访问高通的AI引擎，高通与谷歌就最新的TensorFlow Micro框架合作，针对Hexagon处理器和高通传感器中枢进行优化，通过软件充分发挥第六代AI引擎的硬件优势。

不止于此，此前与骁龙865同时发布的Hexagon NN Direct可以让开发者从应用程序直接访问Hexagon，这种让AI应用充分利用硬件加速的做法受到广泛认可。

骁龙888时代，这个解决方案也升级为AI引擎Direct，为整个移动平台带来统一的Direct应用程序接口的能力。也就是说，高通AI引擎Direct软件为开发者提供的直接访问硬件的途径，不仅针对Hexagon 780处理器，还包括高通Adreno GPU和Kryo CPU。

降低AI开发难度的同时，高通也在不断满足AI应用的定制化需求。去年，“用户定义算子”是第五代高通AI引擎的一部分，开发人员能够在OpenCL中或使用Hexagon软件开发包编写自定义算子，然后将其插入到高通神经网络处理SDK中。

但这对有经验的开发者也是一个复杂冗余的过程，为了更容易实现定制化，如今Hexagon处理器已经支持开源编译器TVM，可以用几行简短的Python代码编写自定义算子，为Hexagon编译，直接插入AI引擎Direct框架。

软件优化除了易用性和自定义，针对AI模型的优化也能带来显著提升。高通在去年公布了AI模型增效的成果，Snapchat使用这个AI模型增效工具包，量化一系列AI镜头模型，提高了人脸识别的准确性和性能。

今年，高通增加了更多支持以实现更好的网络量化，还增加了循环神经网络（RNN）和长短时记忆神经网络（LSTM）的支持，这有助于在保持准确性的同时最大限度提高功耗与性能的平衡。

高性能的硬件和灵活易用的软件都已经准备好，接下来AI创新的核心无疑是开发者。在AI生态的建设上，高通的态度也是开放，包括计划与开源社区在TVM编译器方面，以及在GitHub上开源AI模型增效工具包。

今年，高通也在中国举办了首届AI创新挑战赛。

随着AI生态的发展和繁荣，会有哪些让人意向不到的应用？5G+AI又会给哪些领域带来革新？

注：文中配图来自高通雷锋网雷锋网(公众号：雷锋网)

相关文章：

拯救拍照手残党，告别选择困难！手机AI还有这么多新奇玩法

5nm高通骁龙888，安卓5G旗舰发发发？

。