【自动驾驶】自动驾驶综述

转载自&＃xff1a;http://events.jianshu.io/p/1845b297f71d https://blog.csdn.net/m0_61896232/article/details/121095773

自动驾驶行业发展现状&＃xff1a;

1. 现阶段大部分智能驾驶企业仍停留在 L2 、 L3 级智能驾驶技术&＃xff0c;仅少量领先公司涉足 L4 级技术研发。现在驾驶技术离 L5 级自动驾驶仍有较大距离。
2. 中国政府高度重视对智能驾驶的提前布局。国务院印发了 《 中国制造 2025》 &＃xff0c;将智能驾驶列入未来十年国家的重点发展领域。工信部、发改委、科技部联合印发的 《 汽车产业中长期发展规划 》 提出&＃xff0c;到 2025 年培育若干家进入全球前十的汽车零部件企业集团、若干家销量全球前十的汽车品牌企业。 国务院办公厅 2020 年 10 月印发的 《 新能源汽车产业发展规划&＃xff08; 2021—2035 年&＃xff09; 》 提出&＃xff0c;到 2025 年&＃xff0c;高度自动驾驶汽车实现限定区域和特定场景商业化应用。
3. 中国企业积极投入自动驾驶研发&＃xff0c;多款实验车型已进入路测阶段。国内参与自动驾驶研发的包括众多汽车企业、互联网科技公司、汽车传感器公司、人工智能公司、车载信息终端公司等。
4. 从全球范围看&＃xff0c; 到 2025 年将初步形成 300 亿美元规模的市场&＃xff0c;到 2035 年全球 70% 以上的汽车可实现自动驾驶&＃xff0c;催生出规模超过 2 万亿美元的巨大市场。自动驾驶人才缺口很大。

• 乘用车搭载自动驾驶的趋势
  

感知层的视觉系统&＃xff1a;舜宇、大立光、欧菲光&＃xff1b;
毫米波雷达系统&＃xff1a;大陆、博世、德赛西威、华域汽车&＃xff1b;
激光雷达&＃xff1a;ibeo、博世、velodyne、Quanergy、innoviz、雷神智能、禾赛科技、北科天绘、速腾聚创&＃xff1b;
超声波雷达系统&＃xff1a;电装、松下、村田&＃xff1b;
数据服务商/地图厂家&＃xff1a;百度、四维图新、高德&＃xff1b;
决策层&＃xff1a;mobileye、英伟达、安波福、东软、四维图新、中科创达&＃xff1b; 芯片供应商&＃xff1a;英伟达、英特尔、高通、华为、地平线&＃xff1b;
车联网服务平台&＃xff1a;联通智网、中移智行、九五智驾、四维智联&＃xff1b;
执行层 控制方案整合&＃xff1a;安波福、日本电装、博世&＃xff1b;

单一类型传感器无法克服内生的缺点&＃xff0c;我们需要将来自不同种类传感器的信息组合在一起&＃xff0c;将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境&＃xff0c;提高系统决策的正确性&＃xff0c;比如典型的激光雷达&＃43;摄像头&＃43;IMU&＃43;高精度地图组合。

• 前融合算法&＃xff1a;在原始层把数据都融合在一起&＃xff0c;融合好的数据就好比是一个超级传感器&＃xff0c;而且这个传感器不仅有能力可以看到红外线&＃xff0c;还有能力可以看到摄像头或者RGB&＃xff0c;也有能力看到liDAR的三维信息&＃xff0c;就好比是一双超级眼睛&＃xff0c;在这双超级眼睛上面&＃xff0c;开发自己的感知算法&＃xff0c;最后输出一个结果层的物体。
• 后融合算法&＃xff1a;每个传感器各自独立处理生成的目标数据&＃xff0c;当所有传感器完成目标数据生成后&＃xff0c;再由主处理器进行数据融合
  
• 路端/云端&＃xff1a;可以用于数据存储、模拟、高精地图绘制以及深度学习模型训练&＃xff0c;作用是为无人车提供离线计算及存储功能&＃xff0c;通过云平台&＃xff0c;我们能够测试新的算法 、更新高精地图并训练更加有效的识别、追踪和决策模型。同时可支持全局信息存储和共享&＃xff0c;互联互通业务流&＃xff0c;对自动驾驶车实行路径优化
  

硬件架构升级驱动芯片算力需求呈现指数级提升趋势&＃xff0c;汽车需要处理大量图片、视频等非结构化数据&＃xff0c;同时处理器也需要整合雷达、视频等多路数据。这些都对车载处理器的并行计算效率提出更高要求&＃xff0c;具备AI能力的主控芯片成为主流。

数据、算力和算法是AI三大要素&＃xff0c;CPU配合加速芯片的模式成为典型的AI部署方案&＃xff0c;CPU提供算力&＃xff0c;加速芯片提升算力并助推算法的产生。常见的AI加速芯片包括GPU、FPGA、ASIC三类。

GPU是单指令、多数据处理&＃xff0c;采用数量众多的计算单元和超长的流水线&＃xff0c;主要处理图像领域的运算加速。但GPU无法单独工作&＃xff0c;必须由CPU进行控制调用才能工作。CPU可单独作用&＃xff0c;处理复杂的逻辑运算和不同的数据类型&＃xff0c;但当需要大量的处理类型统一的数据时&＃xff0c;则可调用GPU进行并行计算。

FPGA适用于多指令&＃xff0c;单数据流的分析&＃xff0c;与GPU相反&＃xff0c;因此常用于预测阶段&＃xff0c;如云端。FPGA是用硬件实现软件算法&＃xff0c;因此在实现复杂算法方面有一定的难度&＃xff0c;缺点是价格比较高。对比FPGA和GPU可以发现&＃xff0c;一是缺少内存和控制所带来的存储和读取部分&＃xff0c;速度更快。二是因为缺少读取的作用&＃xff0c;所以功耗低&＃xff0c;劣势是运算量并不是很大。结合CPU和GPU各自的优势&＃xff0c;有一种解决方案就是异构。

ASIC是为实现特定要求而定制的专用AI芯片。除了不能扩展以外&＃xff0c;在功耗、可靠性、体积方面都有优势&＃xff0c;尤其在高性能、低功耗的移动端。

类脑芯片架构是一款模拟人脑的新型芯片编程架构&＃xff0c;这一系统可以模拟人脑功能进行感知、行为和思考&＃xff0c;简单来讲&＃xff0c;就是复制人类大脑。
不同应用场景AI芯片性能需求和具体指标
AI芯片部署的位置有两种&＃xff1a;云端和终端。云端AI应用主要用于数据中心&＃xff0c;在深度学习的训练阶段需要极大的数据量和大运算量&＃xff0c;因此训练环节在云端或者数据中心实现性价比最高&＃xff0c;且终端单一芯片也无法独立完成大量的训练任务。终端AI芯片&＃xff0c;即用于即手机、安防摄像头、汽车、智能家居设备、各种IoT设备等执行边缘计算的智能设备。端AI芯片的特点是体积小、耗电少&＃xff0c;而且性能不需要特别强大&＃xff0c;通常只需要支持一两种AI能力。


现阶段用于汽车决策控制芯片和汽车智能计算平台主要由三部分构成&＃xff1a;
1&＃xff09;智能运算为主的 AI计算单元&＃xff1b;
2&＃xff09;CPU单元&＃xff1b;
3&＃xff09;控制单元。
主控SoC常由 CPU&＃43;GPU&＃43;DSP&＃43;NPU&＃43;各种外设接口、存储类型等电子元件组成&＃xff0c;现阶段主要应用于座舱 IVI、域控制、ADAS等较复杂的领域。现有车载智能计算平台产品如奥迪 zFAS、特斯拉 FSD、英伟达Xavier 等硬件均主要由 AI&＃xff08;人工智能&＃xff09;单元、计算单元和控制单元三部分组成&＃xff0c;每个单元完成各自所定位的功能。

特斯拉Model 3自研“中央-区EEA”架构&＃xff1a;中央计算机是自动驾驶及娱乐控制模块&＃xff08;Autopilot & Infotainment Control Module&＃xff09;&＃xff0c;由两块FSD芯片承担大量的数据计算&＃xff0c;主要服务于自动驾驶功能。两个区控制器分别是右车身控制器&＃xff08;BCM RH&＃xff09;和左车身控制器&＃xff08;BCM LH&＃xff09;&＃xff0c;主要服务于热管理、扭矩控制、灯光等功能。

FSD 的 HW3.0 由两个相同的计算单元构成&＃xff0c;每个计算单元上面有特斯拉自研的2 块FSD计算芯片&＃xff0c;每块算力位 36 Tops&＃xff0c;设备总算力位 4 x 36 Tops &＃61; 144 Tops。但是由于采用的是双机冗余热备的运行方式&＃xff0c;实际可用的算力为72 Top。

HW 3.0 PCB

LPDDR 全称是Low Power Double Data Rate SDRAM&＃xff0c;是DDR SDRAM的一种&＃xff0c;又称为 mDDR(Mobile DDR SDRM)&＃xff0c;是目前全球范围内移动设备上使用最广泛的“工作记忆”内存。特斯拉的LPDDR4&＃xff08;8BD77D9WCF&＃xff09;是Micron美光供应。FSD的GPS模块是NEO-M8L-01A-81&＃xff0c;水平精度圆概率误差&＃xff08;英文简称CEP- CircularError Probable&＃xff09;为2.5米&＃xff0c;有SBAS辅助下是1.5米&＃xff0c;接收GPS/QZSS/GLONASS/北斗&＃xff0c;CEP和RMS是GPS的定位准确度(俗称精度)单位&＃xff0c;是误差概率单位。冷启动26秒&＃xff0c;热启动1秒&＃xff0c;辅助启动3秒。内置简易6轴IMU&＃xff0c;刷新频率20Hz&＃xff0c;量大的话价格会低于300元人民币。UFS&＃xff08;Universal Flash Storage&＃xff09;采用THGAF9G8L2LBAB7&＃xff0c;Toshiba 2018年中期量产的新产品&＃xff0c;车规级标准UFS&＃xff0c;AEC-Q100 2级标准&＃xff0c;容量32GB&＃xff0c;由于特斯拉的算法模型占地不大倒也够用。MAX20025S是开关型电源稳压器&＃xff0c;给内存供电的&＃xff0c;来自Maxim Integrated&＃xff0c;目前查不到更多的介绍资料。S512SD8H21应该是Boot启动&＃xff0c;由Cypress&＃xff08;已被Infineon收购&＃xff09;供货。特斯拉用了3片TI的FPD-LINK&＃xff0c;也就是解串器芯片&＃xff0c;解串器芯片都是配对使用&＃xff0c;加串行一般在摄像头内部&＃xff0c;解串行在PCB上。两片DS90UB960&＃xff0c;与其对应的可以是DS90UB953-Q1, DS90UB935-Q1,DS90UB933-Q1, DS90UB913A-Q1。DS90UB960拥有4条Lane&＃xff0c;如果是MIPI CSI-2端口&＃xff0c;每条Lane带宽可以从400Mbps到1.6Gbps之间设置。

上图为TI推荐的DS90UB960的典型应用示意图&＃xff0c;即接4个200万像素帧率30Hz的YUV444数据&＃xff0c;或者4个200万像素帧率60Hz的YUV420数据。DS90UB954是DS90UB960简化版&＃xff0c;从4Lane减少到2Lane&＃xff0c;与之搭配使用的是DS90UB953。由于大部分摄像头的LVDS格式只能用于近距离传输&＃xff0c;因此摄像头都要配备一个解串行芯片&＃xff0c;将并行数据转换为串行用同轴或STP传输&＃xff0c;这样传输距离远且EMI电磁干扰更容易过车规。目前行业内做解串行芯片用的较多的就是德州仪器TI以及Maxim&＃xff0c;特斯拉用的是德州仪器&＃xff0c;而我们做开发接触的较多的是Maxim&＃xff0c;可能是源于NVIDIA的AI芯片平台设计推荐&＃xff0c;目前智能驾驶方面用的摄像头大部分都是Maxim方案。&＃xff08;摄像头的数据格式通常有RAWRGB、YUV两种。YUV常见的有三种级YUV444&＃xff0c;YUV422和YUV420。计算带宽的公式是像素帧率比特*X&＃xff0c;对RAW RGB来说X&＃61;4&＃xff0c;比如一款摄像头输出30Hz&＃xff0c;200万像素&＃xff0c;那么带宽是200万x30x8x4&＃xff0c;即1.92Gbps。YUV444是像素X帧率X比特X3&＃xff0c;即1.44Gbps&＃xff0c;YUV422是像素X帧率X比特X2&＃xff0c;即0.96Gbps&＃xff0c;YUV420是像素X帧率X比特X1.5&＃xff0c;即0.72Gbps。ADAS通常对色彩考虑不多&＃xff0c;YUV420足够。除车载外一般多采用YUV422。&＃xff09;

这款FSD芯片采用14nm工艺制造&＃xff0c;包含一个中央处理器、1个图像处理单元、2个神经网络处理器&＃xff0c;其中中央处理器和图像处理器都采用了第三方设计授权&＃xff0c;以保证其性能和稳定性&＃xff0c;并易于开发&＃xff0c;关键的神经网络处理器设计是特斯拉自主研发, 是现阶段用于汽车自动驾驶领域最强大的芯片。

NPU的总功耗为7.5 W&＃xff0c;约占FSD功耗预算的21&＃xff05;。这使得它们的性能功率效率约为4.9TOPs/W&＃xff0c;特斯拉在芯片设计方面充分考虑了安全性&＃xff0c;一块典型的自动驾驶电路板会集成两颗Tesla FSD芯片&＃xff0c;执行双神经网络处理器冗余模式&＃xff0c;两颗处理器相互独立&＃xff0c;即便一个出现问题另一个也能照常执行&＃xff0c;此外还设计了冗余的电源、重叠的摄像机视野部分、各种向后兼容的连接器和接口。

从摄像头的图像开始&＃xff0c;根据数据流向&＃xff0c;特斯拉解释了整个过程。首先&＃xff0c;数据以每秒25亿像素的最大速度采集输入&＃xff0c;这大致相当于以每秒60帧的速度输入21块全高清1080P屏幕的数据。这比目前安装的传感器产生的数据多得多。这些数据然后进入我们前面讨论的DRAM&＃xff0c;这是SoC的第一个也是主要瓶颈之一&＃xff0c;因为这是处理速度最慢的组件。然后数据返回到芯片&＃xff0c;并通过图像信号处理器ISP&＃xff0c;每秒可以处理10亿像素&＃xff08;大约8个全高清1080P屏幕&＃xff0c;每秒60帧&＃xff09;。这一阶段芯片将来自摄像头传感器的原始RGB数据转换成除了增强色调和消除噪音之外实际上有用的数据.

使用的是车载龙头镁光的LPDDR4&＃xff0c;具体型号是8BD77D9WCF 8表示年份2018&＃xff0c;B 表示第 4 周&＃xff0c;D 代表 D-Die&＃xff0c;属于镁光产品线中性能相对一般的型号&＃xff0c;77 分别代表芯片生产地和封装地&＃xff0c;7 代表中国台湾&＃xff08;5 代表中国大陆&＃xff09;。所以&＃xff0c;这是一颗美光 2018 年第二周生产的D-Die颗粒&＃xff09;D9WCF对应型号为MT53D512M32D2DS-046AAT。53 代表这是一颗 LPDDR4 颗粒&＃xff1b;D 代表1.1V 的工作电压&＃xff1b;512M 表示单颗颗粒的容量为 512MB&＃xff1b;32 表示单颗粒位宽为 32bit。

按照容量计算单颗芯片是&＃61;512MB X 32 ÷8 &＃61; 2GB&＃xff0c;使用量是4颗&＃xff0c;所以DDR的总容量是8GB。

按照LPDDR4最高频率4266MHZ的速率计算&＃xff0c;每颗DDR是32位的位宽&＃xff0c;CPU的位宽是32X4&＃61;128 bit&＃xff0c;此时DDR的带宽&＃61;4266MBX128 ÷ 8 &＃61; 68.25G/S。
我们再来看看目前的特斯拉的信号传输流向。

可以看到&＃xff0c;传输速度远远大于8颗摄像头采集的图像数据&＃xff0c;传输速度不是瓶颈&＃xff0c;ISP的处理速率是10亿像素/秒&＃xff0c;如果是RGB888的位深&＃xff0c;此时的数据量应该是2.78GB/S&＃xff0c;此处的LPDDR4 的带宽是68GB/S&＃xff0c;目前单独处理图像是够的。这里说内存带宽可能是未来限制自动驾驶的瓶颈&＃xff0c;原因是要处理很多除了图像以外的数据&＃xff0c;比如雷达&＃xff0c;多线程多应用的数据。

上图是目前比较主流的L3&＃43;自动驾驶的架构&＃xff0c;从这里可以看到&＃xff0c;摄像头那部分的处理需要的DDR的带宽是34GB/s&＃xff0c;ASIC的DDR带宽为64bit&＃xff0c;ADAS需要处理摄像头的raw dater&＃xff0c;这样才是最原始的数据&＃xff0c;不是压缩&＃xff0c;也没有处理过的数据&＃xff0c;这样ADAS处理起来才比较灵活&＃xff0c;所以ADAS的带宽要求非常高。

可以看到除了要处理高清摄像头的raw dater的数据&＃xff0c;还需要处理超声波雷达和激光雷达的数据&＃xff0c;这些传感器的作用是不同的&＃xff0c;激光雷达主要用于3D建模、超声波雷达用于倒车、超车&＃xff0c;摄像头主要用于部分ADAS功能&＃xff0c;比如ACC自适应巡航、AEB紧急制动等等。

上面FSD系统信号传输流程图 处理过程中&＃xff0c;该过程的第一步是将数据存储在SRAM阵列中。现在很多人——甚至是那些对计算机组件略知一二的人——可能会想&＃xff0c;“SRAM到底是什么&＃xff1f;”嗯&＃xff0c;最接近的比较是在计算机处理器上能找到的共享L3缓存。这意味着什么呢&＃xff1f;这意味着存储速度非常快&＃xff0c;但同时也很贵。

目前&＃xff0c;Intel最大的L3缓存是45 MB&＃xff08;2010年以前是16 MB, 2014年以前是24 MB&＃xff09;。大多数消费级笔记本电脑和桌面处理器都有8-12 MB的L3缓存。特斯拉的神经网络处理器有一个庞大的64MB SRAM&＃xff0c;它被分成两个32 MB的SRAM段来支持两个神经网络处理器。特斯拉认为其强大的SRAM容量是其相对于其他类型芯片的最大优势之一。

NPU的算力能够满足很多图像相关的识别算法&＃xff1a;

假设此时你车上的AI图像算法是YOLO-V3&＃xff0c;它是一种使用深度卷积神经网络学得的特征来检测对象的目标检测器&＃xff0c;直白点就是照片识别器&＃xff0c;在机场地铁都有批量使用&＃xff0c;就是大量的卷积、残差网络、全连接等类型的计算&＃xff0c;本质是乘法和加法。对于YOLO-V3来说&＃xff0c;如果确定了具体的输入图形尺寸&＃xff0c;那么总的乘法加法计算次数是确定的。比如一万亿次。&＃xff08;真实的情况比这个大得多的多&＃xff09;&＃xff0c;用算力表示就是TOPS为单位。那么要快速执行一次YOLO-V3&＃xff0c;就必须执行完一万亿次的加法乘法次数。

AI芯片加速原理&＃xff1a;

人工智能&＃xff08;深度学习&＃xff09;现在无处不在&＃xff0c;衡量人工智能运算量通常有三个名词。

• FLOPS&＃xff1a;注意全大写&＃xff0c;是floating point operations per second的缩写&＃xff0c;意指每秒浮点运算次数&＃xff0c;理解为计算速度。是一个衡量硬件性能的指标。
• FLOPs&＃xff1a;注意s小写&＃xff0c;是floating point operations的缩写&＃xff08;s表复数&＃xff09;&＃xff0c;意指浮点运算数&＃xff0c;理解为计算量。可以用来衡量算法/模型的复杂度。
• MACCs&＃xff1a;是multiply-accumulate operations)&＃xff0c;也叫MAdds&＃xff0c;意指乘-加操作(点积运算)&＃xff0c;理解为计算量&＃xff0c;也叫MAdds&＃xff0c; 大约是 FLOPs 的一半。

人工智能中最消耗运算量的地方是卷积&＃xff0c;就是乘和累加运算Multiply Accumulate&＃xff0c;MAC。y &＃61; w[0]x[0] &＃43; w[1]x[1] &＃43; w[2]x[2] &＃43; … &＃43; w[n-1]x[n-1]w 和 x 都是向量&＃xff0c;y 是标量。上式是全连接层或卷积层的典型运算。一次乘-加运算即一次乘法&＃43;一次加法运算&＃xff0c;所以上式的 MACCs 是n。而换到 FLOPS 的情况&＃xff0c;点积做了 2n-1 FLOPS&＃xff0c;即 n-1 次加法和 n 次乘法。可以看到&＃xff0c;MACCs 大约是 FLOPS 的一半。实际就是MAC只需一个指令&＃xff0c;一个运算周期内就可完成乘和累加。卷积运算、点积运算、矩阵运算、数字滤波器运算、乃至多项式的求值运算都可以分解为数个 MAC 指令&＃xff0c;人工智能运算也可以写成MAC运算。MAC指令的输入及输出的数据类型可以是整数、定点数或是浮点数。若处理浮点数时&＃xff0c;会有两次的数值修约&＃xff08;Rounding&＃xff09;&＃xff0c;这在很多典型的DSP上很常见。若一条MAC指令在处理浮点数时只有一次的数值修约&＃xff0c;则这种指令称为“融合乘加运算”/“积和熔加运算”&＃xff08;fused multiply-add, FMA&＃xff09;或“熔合乘法累积运算”&＃xff08;fused multiply–accumulate&＃xff0c;FMAC&＃xff09;。假设3×3卷积&＃xff0c;128 个 filer&＃xff0c;输入的 feature map 是 112×112×64&＃xff0c;stride&＃61;1&＃xff0c;padding&＃61;same&＃xff0c;MACCs 有&＃xff1a;3×3×64×112×112×128&＃61;924,844,032次&＃xff0c;即1.85TOPS算量。AI芯片就是简单暴力地堆砌MAC单元。增加MAC数量&＃xff0c;这是提升算力最有效的方法&＃xff0c;没有之一&＃xff0c;而增加MAC数量意味着芯片裸晶面积即成本的大幅度增加&＃xff0c;这也是为什么AI芯片要用到尽可能先进的半导体制造工艺&＃xff0c;越先进的半导体制造工艺&＃xff0c;就可拥有更高的晶体管密度&＃xff0c;即同样面积下更多的MAC单元&＃xff0c;衡量半导体制造工艺最主要的指标也就是晶体管密度而不是数字游戏的几纳米。具体来说&＃xff0c;台积电初期7纳米工艺&＃xff0c;每平方毫米是9630万个晶体管&＃xff0c;后期7&＃43;纳米可以做到每平方毫米1.158亿个晶体管&＃xff0c;三星7纳米是9530万个&＃xff0c;落后台积电18%&＃xff0c;而英特尔的10纳米工艺是1.0078亿个晶体管&＃xff0c;领先三星&＃xff0c;落后台积电。这也是台积电垄断AI芯片的原因。而5纳米工艺&＃xff0c;台积电是1.713亿个晶体管&＃xff0c;而英特尔的7纳米计划是2亿个晶体管&＃xff0c;所以英特尔的7纳米芯片一直难产&＃xff0c;难度比台积电5纳米还高。顺便说下&＃xff0c;台积电平均每片晶圆价格近4000美元&＃xff0c;三星是2500美元&＃xff0c;中芯国际是1600美元。除了增加数量&＃xff0c;还有提高MAC运行频率&＃xff0c;但这意味着功耗大幅度增加&＃xff0c;有可能造成芯片损坏或死机&＃xff0c;一般不会有人这么做。除了简单的数量增加&＃xff0c;再一条思路是提高MAC的效率。提高MAC效率方法&＃xff1a;提升MAC效率最重要的就是存储。真实值和理论值差异极大。决定算力真实值最主要因素是内存&＃xff08; SRAM和DRAM)带宽&＃xff0c;还有实际运行频率&＃xff08; 即供电电压或温度&＃xff09;&＃xff0c;还有算法的batch尺寸。例如谷歌第一代TPU&＃xff0c;理论值为90TOPS算力&＃xff0c;最差真实值只有1/9&＃xff0c;也就是10TOPS算力&＃xff0c;因为第一代内存带宽仅34GB/s。而第二代TPU下血本使用了HBM内存&＃xff0c;带宽提升到600GB/s&＃xff08;单一芯片&＃xff0c;TPU V2板内存总带宽2400GB/s&＃xff09;。最新的英伟达的A100使用40GB的2代HBM&＃xff0c;带宽提升到1600GB/s&＃xff0c;比V100提升大约73%。特斯拉是128 bit LPDDR4-4266 &＃xff0c;那么内存的带宽就是&＃xff1a;2133MHz2DDR128bit/8/1000&＃61;68.256GB/s。比第一代TPU略好&＃xff08; 这些都是理论上的最大峰值带宽&＃xff09;其性能最差真实值估计是2/9。也就是大约8TOPS。16GB版本的Xavier内存峰值带宽是137GB/s。为什么会这样&＃xff0c;这就牵涉到MAC计算效率问题&＃xff0c;如果你的算法或者说CNN卷积需要的算力是1TOPS&＃xff0c;而运算平台的算力是4TOPS&＃xff0c;那么利用效率只有25%&＃xff0c;运算单元大部分时候都在等待数据传送&＃xff0c;特别是batch尺寸较小时候&＃xff0c;这时候存储带宽不足会严重限制性能。但如果超出平台的运算能力&＃xff0c;延迟会大幅度增加&＃xff0c;存储瓶颈一样很要命。效率在90-95%情况下&＃xff0c;存储瓶颈影响最小&＃xff0c;但这并不意味着不影响了&＃xff0c;影响依然存在。然而平台不会只运算一种算法&＃xff0c;运算利用效率很难稳定在90-95%。这就是为何大部分人工智能算法公司都想定制或自制计算平台的主要原因&＃xff0c;计算平台厂家也需要推出与之配套的算法&＃xff0c;软硬一体&＃xff0c;实难分开。最为有效的方法还是减小运算单元与存储器之间的物理距离。也是这15年来高性能芯片封装技术发展的主要目标&＃xff0c;这不仅可以提高算力&＃xff0c;还能降低功耗减少发热。这其中最有效的技术就是HBM和CoWoS。

CPU与HBM2之间通过Micro-bump连接&＃xff0c;线宽仅为55微米&＃xff0c;比传统的板上内存或者说off-chip内存要减少20倍的距离。可以大大缓解内存瓶颈问题。不过HBM和CoWoS价格都很高&＃xff0c;假设500万的一次下单量&＃xff0c;7纳米工艺的话&＃xff0c;纯晶圆本身的硬件成本大约是每片芯片208-240美元&＃xff0c;这个价格做训练用AI芯片可以承受&＃xff0c;但是推理AI芯片用不起。再有CoWoS是台积电垄断的&＃xff0c;台积电也正是靠这种工艺完全垄断高性能计算芯片代工。英特尔的EMIB是唯一能和CoWoS抗衡的工艺&＃xff0c;但英特尔不代工。退而求其次的方法是优化指令集&＃xff0c;尽量减少数据的访存&＃xff0c;CNN算法会引入大量的访存行为&＃xff0c;这个访存行为的频繁度会随着参考取样集合的增加而增加&＃xff08;原因很简单&＃xff0c;缓存无法装下所有的参考取样&＃xff0c;所以&＃xff0c;即便这些参考取样会不断地被重复访问&＃xff0c;也无法充分挖掘数据本地化所带来的cache收益&＃xff09;。针对这种应用类型&＃xff0c;实际上存在成熟的优化范式——脉动阵列。脉动阵列脉动阵列并不是一个新鲜的词汇&＃xff0c;在计算机体系架构里面已经存在很长时间。大家可以回忆下冯诺依曼架构&＃xff0c;很多时候数据一定是存储在memory里面的&＃xff0c;当要运算的时候需要从memory里面传输到Buffer或者Cache里面去。当我们使用computing的功能来运算的时候&＃xff0c;往往computing消耗的时间并不是瓶颈&＃xff0c;更多的瓶颈在于memory的存和取。所以脉动阵列的逻辑也很简单&＃xff0c;既然memory读取一次需要消耗更多的时间&＃xff0c;脉动阵列尽力在一次memory读取的过程中可以运行更多的计算&＃xff0c;来平衡存储和计算之间的时间消耗。

下面说下脉冲阵列的基本原理&＃xff1a;首先&＃xff0c;图中上半部分是传统的计算系统的模型。一个处理单元&＃xff08;PE&＃xff09;从存储器&＃xff08;memory&＃xff09;读取数据&＃xff0c;进行处理&＃xff0c;然后再写回到存储器。这个系统的最大问题是&＃xff1a;数据存取的速度往往大大低于数据处理的速度。因此&＃xff0c;整个系统的处理能力&＃xff08;MOPS&＃xff0c;每秒完成的操作&＃xff09;很大程度受限于访存的能力。这个问题也是多年来计算机体系结构研究的重要课题之一&＃xff0c;可以说是推动处理器和存储器设计的一大动力。而脉动架构用了一个很简单的方法&＃xff1a;让数据尽量在处理单元中多流动一会儿。正如上图的下半部分所描述的&＃xff0c;第一个数据首先进入第一个PE&＃xff0c;经过处理以后被传递到下一个PE&＃xff0c;同时第二个数据进入第一个PE。以此类推&＃xff0c;当第一个数据到达最后一个PE&＃xff0c;它已经被处理了多次。所以&＃xff0c;脉动架构实际上是多次重用了输入数据。因此&＃xff0c;它可以在消耗较小的memory带宽的情况下实现较高的运算吞吐率。上面这张图非常直观的从一维数据流展示了脉动阵列的简单逻辑。当然&＃xff0c;对于CNN等神经网络来说&＃xff0c;很多时候是二维的矩阵。所以&＃xff0c;脉动阵列从一维到二维也能够非常契合CNN的矩阵乘加的架构。降低推理的量化比特精度是最常见的方法。它既可以大大降低运算单元的精度&＃xff0c;又可以减少存储容量需求和存储器的读写。但是&＃xff0c;降低比特精度也意味着推断准确度的降低&＃xff0c;这在一些应用中是无法接受的。由此&＃xff0c;基本运算单元的设计趋势是支持可变比特精度&＃xff0c;比如BitMAC 就能支持从 1 比特到 16 比特的权重精度。大部分AI推理芯片只支持INT8位和16位数据。除了降低精度以外&＃xff0c;还可以结合一些数据结构转换来减少运算量&＃xff0c;比如通过快速傅里叶变换&＃xff08;FFT&＃xff09;变换来减少矩阵运算中的乘法&＃xff1b;还可以通过查表的方法来简化 MAC 的实现等。对于使用修正线性单元&＃xff08;ReLU&＃xff09;作为激活函数的神经网络&＃xff0c;激活值为零的情况很多 &＃xff1b;而在对神经网络进行的剪枝操作后&＃xff0c;权重值也会有很多为零。基于这样的稀疏性特征&＃xff0c;一方面可以使用专门的硬件架构&＃xff0c;比如 SCNN 加速器&＃xff0c;提高 MAC 的使用效率&＃xff0c;另一方面可以对权重和激活值数据进行压缩。

还可以从体系架构上对整个的Memory读取来做进一步的优化。这里摘取的是寒武纪展示的一些科研成果。其实比较主流的方式就是尽量做Data Reuse&＃xff0c;减少片上Memory和片外Memory的信息读取次数&＃xff0c;增加片上memory&＃xff0c;因为片上数据读取会更快一点&＃xff0c;这种方式也能够尽量降低Memory读取所消耗的时间&＃xff0c;从而达到运算的加速。

对于神经网络来说&＃xff0c;其实很多的连接并不是一定要存在的&＃xff0c;也就是说我去掉一些连接&＃xff0c;可能压缩后的网络精度相比压缩之前并没有太大的变化。基于这样的理念&＃xff0c;很多剪枝的方案也被提了出来&＃xff0c;也确实从压缩的角度带来了很大效果提升。需要特别提出的是&＃xff0c;大家从图中可以看到&＃xff0c;深度学习神经网络包括卷积层和全连接层两大块&＃xff0c;剪枝对全连接层的压缩效率是最大的。下面柱状图的蓝色部分就是压缩之后的系数占比&＃xff0c;从中可以看到剪枝对全连接层的压缩是最大的&＃xff0c;而对卷积层的压缩效果相比全连接层则差了很多。所以这也是为什么&＃xff0c;在语音的加速上很容易用到剪枝的一些方案&＃xff0c;但是在机器视觉等需要大量卷积层的应用中剪枝效果并不理想。

对于整个Deep Learning网络来说&＃xff0c;每个权重系数是不是一定要浮点的&＃xff0c;定点是否就能满足&＃xff1f;定点是不是一定要32位的&＃xff1f;很多人提出8位甚至1位的定点系数也能达到很不错的效果&＃xff0c;这样的话从系数压缩来看就会有非常大的效果。从下面三张人脸识别的红点和绿点的对比&＃xff0c;就可以看到其实8位定点系数在很多情况下已经非常适用了&＃xff0c;和32位定点系数相比并没有太大的变化。所以&＃xff0c;从这个角度来说&＃xff0c;权重系数的压缩也会带来网络模型的压缩&＃xff0c;从而带来计算的加速。谷歌的TPU AI计算加速介绍&＃xff1a;

这是Google的TPU。从上边的芯片框图可以看到&＃xff0c;有一个64K的乘加MAC阵列对乘加运算进行加速。从论文中可以看到里面已经用到了脉动阵列的架构方法来对运算进行加速&＃xff0c;另外也有我们前面提到的大量的片上Memory 这样的路径。上面蓝色框图中大家可以看到有一个24MiB的片上Memory&＃xff0c;而且有两个高速DDR3接口能够与片外的DDR做交互。再来说说AI芯片。比如大名鼎鼎的谷歌的TPU1。TPU1&＃xff0c;大约700M Hz&＃xff0c;有256X256尺寸的脉动阵列&＃xff0c;如下图所示。一共256X256&＃61;64K个乘加单元&＃xff0c;每个单元一次可执行一个乘法和一个加法。那就是128K个操作。&＃xff08;乘法算一个&＃xff0c;加法再算一个)。

另外&＃xff0c;除了脉动阵列&＃xff0c;还有其他模块&＃xff0c;比如激活等&＃xff0c;这些里面也有乘法、加法等。

所以&＃xff0c;看看TPU1一秒钟的巅峰计算次数至少是&＃61;128K X 700MHz&＃61;89600Gops&＃61;大约90Tops。

对比一下CPU与TPU1&＃xff0c;会发现计算能力有几个数量级的差距&＃xff0c;这就是为啥说CPU慢。

当然&＃xff0c;以上的数据都是完全最理想的理论值&＃xff0c;实际情况&＃xff0c;能够达到5%吧。因为&＃xff0c;芯片上的存储不够大&＃xff0c;所以数据会存储在DRAM中&＃xff0c;从DRAM取数据很慢的&＃xff0c;所以&＃xff0c;乘法逻辑往往要等待。另外&＃xff0c;AI算法有许多层网络组成&＃xff0c;必须一层一层的算&＃xff0c;所以&＃xff0c;在切换层的时候&＃xff0c;乘法逻辑又是休息的&＃xff0c;所以&＃xff0c;诸多因素造成了实际的芯片并不能达到利润的计算峰值&＃xff0c;而且差距还极大。

上图展示的第二代TPU。从图中可以很直观的看到&＃xff0c;它用到了我们前面所说到的HBM Memory。从其论文披露的信息也可以看到&＃xff0c;二代TPU在第一代的基础上增加了我们前面说到的剪枝&＃xff0c;权重压缩等方面做了很多尝试&＃xff0c;也是一个非常经典的云端AI加速芯片的例子。

域控制其中最核心的是主芯片&＃xff0c;一般会采用一颗或多颗高性能的SOC。SOC是System on Chip的缩写&＃xff0c;就是在单块芯片上集成多个微处理器、模拟IP核、数字IP核和存储器等部件&＃xff0c;比如CPU、GPU、DSP、ISP、Codec、NPU、Modem等模块。

这些单元&＃xff0c;在一套总线系统的连接下&＃xff0c;构成了一个系统。大家所熟知的各种手机SOC芯片&＃xff0c;如苹果的A系列、高通的骁龙系列、华为的麒麟系列&＃xff0c;或者各类的AI SOC芯片&＃xff0c;车载领域的各种SOC芯片&＃xff0c;都逃不出以上范式。虽然都是同一范式&＃xff0c;但是由于使用的场景不同&＃xff0c;各个芯片的侧重点不太一样&＃xff1a;娱乐系统芯片&＃xff0c;其实和消费电子几乎一模一样&＃xff0c;关注音频、视频、显示、图像等、Modem等。自动驾驶芯片&＃xff0c;注重高性能计算&＃xff0c;一般配备有强大的NPU、GPU、DSP等。

优控智行的域控制器型号为EAXVA03&＃xff0c;据说是第三代产品已经小批量装车。其内置NVIDIA Xavier和Infineon TC297T。按照设计部署&＃xff0c;Xavier用于环境感知、图像融合、路径规划等&＃xff0c;TC297用于安全监控、冗余控制、网关通讯及整车控制。综合以上各种因素&＃xff0c;目前主流自动驾驶芯片的算力、功耗、算力功耗比、制程、SOP时间、芯片类型等相关信息对比如下&＃xff1a;

可以看到&＃xff0c;目前芯片基本上制程都往7nm和5nm开发&＃xff0c;而且功耗越来越低&＃xff0c;算力越来越高&＃xff0c;即将上车的roin 单芯片算力达到200TOPS。

如上软件模块算法的算力效率牵涉到MAC计算效率问题。如果相应的自动驾驶模块算法或者说CNN卷积需要的算力是1TOPS&＃xff0c;而运算平台的算力是4TOPS&＃xff0c;那么利用效率只有25%&＃xff0c;运算单元大部分时候都在等待数据传送&＃xff0c;特别是批量待处理的尺寸较小时候&＃xff0c;存储带宽不足会严重限制性能。但如果超出平台的运算能力&＃xff0c;延迟会大幅度增加&＃xff0c;存储瓶颈一样很要命。效率在90-95%情况下&＃xff0c;存储瓶颈影响最小&＃xff0c;但这并不意味着不影响了&＃xff0c;影响依然存在。然而平台不会只运算一种算法&＃xff0c;运算利用效率很难稳定在90-95%。

因此&＃xff0c;是否能匹配比较高效的算法也是一个选择芯片平台的重要因素。