热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

智能手机推动了AI的普及,AI美颜、AI夜景、AI语音助手等功能也让众多消费者感受到了AI的乐趣,雷锋网此前的文章《拯救拍照手残党,告别选择困难!手机AI还有这么多新奇玩法》曾介绍

智能手机推动了AI的普及,AI美颜、AI夜景、AI语音助手等功能也让众多消费者感受到了AI的乐趣,雷锋网此前的文章《拯救拍照手残党,告别选择困难!手机AI还有这么多新奇玩法》曾介绍过。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

动图主要展示效果,画质有压缩

随着手机AI引擎的快速提升,旗舰移动平台的AI体验也达到了新的高度。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

以旗舰移动平台高通骁龙8系列为例,去年推出的骁龙865的AI性能已经达到了每秒15万亿次运算(15 TOPS),是骁龙855的2倍,相比骁龙845提升达5倍。本月最新推出的骁龙888,AI性能高达26 TOPS,同时每瓦特性能相比骁龙865提升了3倍。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

手机需要高达26 TOPS的AI性能吗?这么高的AI算力能玩出什么新花样?

高通技术公司产品管理副总裁Ziad Asghar的答案是:“AI性能大幅提升的主要来自客户的需求,他们期待看到AI在新领域实现应用,比如视频、游戏、安全等。”

26 TOPS顶级AI性能让4K视频也能再创作

更高的AI性能自然要让拍照体验再上一个台阶,特别是骁龙888已经将双ISP升级为三ISP,Qualcomm Spectra 580 ISP就让智能手机的图像质量达到全新水平。

比如,在低环境光下,Spectra 580的速度结合骁龙888集成的第六代高通AI引擎,仅0.1Lux的照度,也拍摄出细节惊人的照片。以往,在近乎黑暗的场景下,即便找到可用的光源,保持手机稳定,拍摄的效果也未必理想,有了骁龙888的三ISP加上高性能AI,就能拍出清晰明亮的照片。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

相比极端环境下的拍照,根据场景自动对焦、自动曝光和自动白平衡的3A算法日常使用的频率更高。同样是最新推出的高通第十代3A算法,首次融合了AI,能基于特征分析更快、更准的自动对焦和自动曝光。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

没有融合AI的3A算法对焦

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

骁龙888融合AI 3A算法的快速对焦

更方便的是,虹软基于Spectra 580和第六代高通AI引擎推出的“傻瓜相机”,可以自动跟踪人物,自动缩放带来真正的“傻瓜相机”体验。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

虹软“傻瓜相机”

能够让手机拍照如此智能的第六代高通AI引擎,非常关键的组成部分是Hexagon 780处理器。Hexagon 780延续了高通AI引擎标量、张量和向量加速器的异构架构,同时又进行了升级,让加速器之间的物理距离几乎消失。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

不仅如此,高通还让三个加速器拥有了一个很大的共享内存,让数据可以更快、更高效的共享和移动。由此带来的是,在某些用例中,数据交互时效最多提高上千倍。

加速器间更小的物理距离和很大的共享内存,无论对AI性能提升还是降低功耗都非常有利。这是因为,在AI计算中,数据搬运的耗能远大于计算。而电池供电的手机对于用最少能耗实现最高性能有更迫切的需求。

Hexagon 780的标量加速器性能相比前代提升50%,张量加速器速度是前代的2倍。作为第六代AI引擎的一部分,最新的Adreno 660 GPU AI性能也提升了43%。另外,通过新的指令集,如4输入混合精度点积,以及波浪矩阵乘法,能够加快浮点运算。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

最终,第六代高通AI引擎的性能大幅提升至26 TOPS,并且,每瓦特性能比前代提升3倍。这意味着,第六代高通AI引擎兼顾了高性能和低耗能。

26 TOPS的第六代高通AI引擎,在提升AI拍照体验之余,已经能够再创作4K视频。无论是从原始视频中删除一个任务、重建一个背景,还是将新的人物插入到视频场景中,一切看起来都很自然。

高通与Tetras.AI公司的合作,实现了以30fps的速度在每一帧画面中实时去除背景,分辨率最高可以达到4K。

 骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

借助Super Movie应用,无论是想和击剑冠军对抗,还是T台走秀都变得轻而易举,还能先预览再开始表演和录制。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

传感器中枢让手机更智能

26 TOPS的AI性能能让4K视频的再创作也变得轻松,也能让游戏也变得更加流畅。但并非所有的AI功能都需要超强的AI性能,那些随时待命的AI功能,像语音助理,对性能的要求不高,但对功耗要求苛刻。

去年,骁龙865首次集成了传感器中枢,今年骁龙888的传感器中枢升级到第二代。高通第二代传感器中枢中集成的专用低功耗AI处理器性能提升达到5倍,但功耗不到1毫安。传感器中枢额外的AI性能可以分担Hexagon 780处理器80%的工作负载,满足各种AI性能需求应用的同时,兼顾低功耗。

一个很好的例子是,利用高通第二代传感器中枢,能够减少Hexagon处理器上“Ok,Google”侦测算法38%的负载。

高通第二代传感器中枢还是让手机更加智能的关键所在,因为新一代的传感器中枢可以从手机所有部分,包括麦克风等传感器以及连接功能实时收集数据,并创建情境感知的应用。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

有两个例子,高通与Audio Analytic的合作让手机可以识别周围的声学场景,根据所处的环境调节铃声音量,这样从嘈杂的咖啡厅切换到安静的会议室就不会再出现尴尬的情况。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

另一个例子是高通与Mobilize Solutions合作,让手机可以根据所处的位置,推荐适合特殊场景的社交媒体滤镜。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

传感器中枢还有更多潜能,在没有信号的停车场通过手机追踪停车的位置,或者通过手机上的红外传感器检测皮肤状态获得合适的护肤品推荐都是很好的探索。高通第二代传感器中枢还可以结合5G、Wi-Fi、蓝牙等新增的数据源,创造更多智能应用。

这就需要更加灵活和易用的软件。

手机AI创新的大时代到来

高通是首个将终端侧AI SDK推向市场的公司,高通的神经网络处理SDK已经在全球超过5亿台安卓终端上为AI功能提供支持。第六代高通神经网络处理SDK不仅支持更多模型,对搭载骁龙平台的笔记本的AI用例也实现了支持。

当然,为了让开发者能够轻松访问高通的AI引擎,高通与谷歌就最新的TensorFlow Micro框架合作,针对Hexagon处理器和高通传感器中枢进行优化,通过软件充分发挥第六代AI引擎的硬件优势。

不止于此,此前与骁龙865同时发布的Hexagon NN Direct可以让开发者从应用程序直接访问Hexagon,这种让AI应用充分利用硬件加速的做法受到广泛认可。

骁龙888时代,这个解决方案也升级为AI引擎Direct,为整个移动平台带来统一的Direct应用程序接口的能力。也就是说,高通AI引擎Direct软件为开发者提供的直接访问硬件的途径,不仅针对Hexagon 780处理器,还包括高通Adreno GPU和Kryo CPU。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

降低AI开发难度的同时,高通也在不断满足AI应用的定制化需求。去年,“用户定义算子”是第五代高通AI引擎的一部分,开发人员能够在OpenCL中或使用Hexagon软件开发包编写自定义算子,然后将其插入到高通神经网络处理SDK中。

但这对有经验的开发者也是一个复杂冗余的过程,为了更容易实现定制化,如今Hexagon处理器已经支持开源编译器TVM,可以用几行简短的Python代码编写自定义算子,为Hexagon编译,直接插入AI引擎Direct框架。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

软件优化除了易用性和自定义,针对AI模型的优化也能带来显著提升。高通在去年公布了AI模型增效的成果,Snapchat使用这个AI模型增效工具包,量化一系列AI镜头模型,提高了人脸识别的准确性和性能。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

今年,高通增加了更多支持以实现更好的网络量化,还增加了循环神经网络(RNN)和长短时记忆神经网络(LSTM)的支持,这有助于在保持准确性的同时最大限度提高功耗与性能的平衡。

骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

高性能的硬件和灵活易用的软件都已经准备好,接下来AI创新的核心无疑是开发者。在AI生态的建设上,高通的态度也是开放,包括计划与开源社区在TVM编译器方面,以及在GitHub上开源AI模型增效工具包。

今年,高通也在中国举办了首届AI创新挑战赛。

随着AI生态的发展和繁荣,会有哪些让人意向不到的应用?5G+AI又会给哪些领域带来革新?

注:文中配图来自高通雷锋网雷锋网(公众号:雷锋网)

相关文章:

拯救拍照手残党,告别选择困难!手机AI还有这么多新奇玩法

5nm高通骁龙888,安卓5G旗舰发发发?


推荐阅读
  • 目录预备知识导包构建数据集神经网络结构训练测试精度可视化计算模型精度损失可视化输出网络结构信息训练神经网络定义参数载入数据载入神经网络结构、损失及优化训练及测试损失、精度可视化qu ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 通过使用CIFAR-10数据集,本文详细介绍了如何快速掌握Mixup数据增强技术,并展示了该方法在图像分类任务中的显著效果。实验结果表明,Mixup能够有效提高模型的泛化能力和分类精度,为图像识别领域的研究提供了有价值的参考。 ... [详细]
  • 兆芯X86 CPU架构的演进与现状(国产CPU系列)
    本文详细介绍了兆芯X86 CPU架构的发展历程,从公司成立背景到关键技术授权,再到具体芯片架构的演进,全面解析了兆芯在国产CPU领域的贡献与挑战。 ... [详细]
  • 2020年9月15日,Oracle正式发布了最新的JDK 15版本。本次更新带来了许多新特性,包括隐藏类、EdDSA签名算法、模式匹配、记录类、封闭类和文本块等。 ... [详细]
  • 本文节选自《NLTK基础教程——用NLTK和Python库构建机器学习应用》一书的第1章第1.2节,作者Nitin Hardeniya。本文将带领读者快速了解Python的基础知识,为后续的机器学习应用打下坚实的基础。 ... [详细]
  • 深入解析 Lifecycle 的实现原理
    本文将详细介绍 Android Jetpack 中 Lifecycle 组件的实现原理,帮助开发者更好地理解和使用 Lifecycle,避免常见的内存泄漏问题。 ... [详细]
  • 浏览器作为我们日常不可或缺的软件工具,其背后的运作机制却鲜为人知。本文将深入探讨浏览器内核及其版本的演变历程,帮助读者更好地理解这一关键技术组件,揭示其内部运作的奥秘。 ... [详细]
  • 如何将TS文件转换为M3U8直播流:HLS与M3U8格式详解
    在视频传输领域,MP4虽然常见,但在直播场景中直接使用MP4格式存在诸多问题。例如,MP4文件的头部信息(如ftyp、moov)较大,导致初始加载时间较长,影响用户体验。相比之下,HLS(HTTP Live Streaming)协议及其M3U8格式更具优势。HLS通过将视频切分成多个小片段,并生成一个M3U8播放列表文件,实现低延迟和高稳定性。本文详细介绍了如何将TS文件转换为M3U8直播流,包括技术原理和具体操作步骤,帮助读者更好地理解和应用这一技术。 ... [详细]
  • Python错误重试让多少开发者头疼?高效解决方案出炉
    ### 优化后的摘要在处理 Python 开发中的错误重试问题时,许多开发者常常感到困扰。为了应对这一挑战,`tenacity` 库提供了一种高效的解决方案。首先,通过 `pip install tenacity` 安装该库。使用时,可以通过简单的规则配置重试策略。例如,可以设置多个重试条件,使用 `|`(或)和 `&`(与)操作符组合不同的参数,从而实现灵活的错误重试机制。此外,`tenacity` 还支持自定义等待时间、重试次数和异常处理,为开发者提供了强大的工具来提高代码的健壮性和可靠性。 ... [详细]
  • OpenAI首席执行官Sam Altman展望:人工智能的未来发展方向与挑战
    OpenAI首席执行官Sam Altman展望:人工智能的未来发展方向与挑战 ... [详细]
  • C++ 开发实战:实用技巧与经验分享
    C++ 开发实战:实用技巧与经验分享 ... [详细]
  • 汽车电子架构与CAN网络基础解析——鉴源实验室专业解读 ... [详细]
  • 从2019年AI顶级会议最佳论文,探索深度学习的理论根基与前沿进展 ... [详细]
  • 本文详细介绍了在 Android 7.1 系统中调整屏幕分辨率和默认音量设置的方法。针对系统默认音量过大的问题,提供了具体的步骤来降低系统、铃声、媒体和闹钟的默认音量,以提升用户体验。此外,还涵盖了如何通过系统设置或使用第三方工具来优化屏幕分辨率,确保设备显示效果更加清晰和流畅。 ... [详细]
author-avatar
宅囧2502881733
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有