A 288μW Programmable Deep-Learning Processor with 270KB On-Chip Weight Storage Using Non-Uniform Memory Hierarchy for Mobile Intelligence
单位&＃xff1a;Michigan&＃xff0c;CubeWorks&＃xff08;密歇根大学&＃xff0c;CubeWorks公司&＃xff09;
又是一款做DNN加速的面向IOT的专用芯片&＃xff0c;主要特点是有L1~L4四级不同速度、能耗的层次化存储。通过对全连接矩阵x向量的计算流程优化&＃xff0c;最终可以在0.65V 3.9MHz下获得374GOPS/W的能效表现及288uW的能耗指标[1]。主要还是低功耗&＃xff0c;288uW可以做到常开了。
IoT DLA(Deep Learning Accelerator)的愿景和实操&＃xff1a;IoT的结点将具有移动感知能力&＃xff0c;同时可以运行简单的语音/图像检测和离线学习能力&＃xff0c;可以完成部分DSP的计算工作。当前的技术采用了高并行的PE以及非标准的memory结构NUMA&＃xff0c;定制的低漏电流SRAM&＃xff0c;同时对数据位宽采用精度可配的管理方式。
和传统的计算相比&＃xff0c;深度学习的访存次数大大增加&＃xff0c;计算的不确定性也十分明显&＃xff0c;传统的层次化存储结构&＃xff08;寄存器-Cache-DRAM-HDD/SSD&＃xff09;已经难以满足需求&＃xff08;Cache作用不明显&＃xff0c;访存不规则但是服从统计学分布规律&＃xff09;。因此&＃xff0c;采用非一致的存储架构、提高存储的bit密度&＃xff0c;以及使用长字节表达&＃43;可变精度的数据格式&＃xff0c;可以有效提升深度学习的访存、能效表现。
采用的多层存储结构&＃xff1a;采用非一致性的NUMA&＃xff0c;建立确定性访存机制&＃xff0c;提出数据分配机制以及数据的连续地址存放。
DLA的设计&＃xff1a;每个PE均具有共计67.5kB的4层存储结构&＃xff0c;通过AHB与主控芯片相连&＃xff0c;通过MMIO寄存器进行数据交互。——AHB Lite和寄存器交互使得数据交换能耗低&＃xff1b;
下面是重点&＃xff1a;
DLA的PE设计&＃xff1a;整体工作流程&＃xff1a;
1、instruction buffer用于接受由主控核(Cortex-M0)发出的指令&＃xff0c;经由WR/RD进行选择&＃xff0c;将192b的指令输出到中心controller&＃xff1b;
2、中心controller(CTR)将状态寄存器Status Reg置位“Running”&＃xff1b;
3、访存单元(Mem)通过中心controller和PE进行数据交互&＃xff0c;CTR定义MemAU数据访存模式&＃xff08;序列Seq/随机Ran&＃xff09;&＃xff0c;PE通过CTR和MemAU进行访存操作&＃xff1b;同时MemAU采用了power gating和signal gating技术&＃xff1b;对于外存的访问请求&＃xff0c;也通过MemAU处理&＃xff0c;优先级为&＃xff1a;Cortex-M0>外部PE>所在PE&＃xff1b;
4、CTR向Data Buffer发起数据请求&＃xff0c;完成&＃xff1a;解压MemAU输入的96b数据&＃xff0c;打包发出输出的96b数据&＃xff0c;并采用临近数据存储方式进行操作&＃xff1b;
5、CTR对ALU发起数据&＃xff0c;ALU通过IO口从Data Buffer中读取数据&＃xff0c;可以进行如下计算&＃xff1a;4个乘法计算(8bit)、4个乘法计算(16bit)、10个加法器、6个移位器&＃xff1b;基于查找表的多项式差值计算单元&＃xff0c;用于激活函数的计算&＃xff1b;
6、计算任务完成后&＃xff0c;Cortex-M0发出信号&＃xff0c;CTR将Status Reg置位Done。
有信号开关的SRAM结构&＃xff1a;通过SIGNAL_GATING[3:0]和DATA_DATING[3:0]进行数据的存储层级选择。
本芯片主要能做FC的计算&＃xff0c;全连接层的运算(Fully-Connected Layer, FCL)&＃xff1a;分解为矩阵x向量&＃43;激活函数。核心是Matrix-Vector Multiplication(MVM)。
为了降低中间结果数量以及写出带宽&＃xff0c;采用的折叠式的求和&＃xff1a;两两加和的结果是一个临时结果&＃xff0c;换下一个两列的时候&＃xff0c;把前面的临时结果读出来&＃xff0c;加完之后再写回去。
因此&＃xff0c;基于这样的计算模式&＃xff0c;论文采用&＃xff1a;
基于以上的MVM计算方式&＃xff0c;TO是访问频率最高的数据->存在L1 Mem&＃xff1b;权重w重用度低->存在L4 Mem
重用度低就是指不会重复读&＃xff0c;只会按顺序读&＃xff0c;因此放在较大较远的L4中&＃xff1b;而临时结果需要反复读写&＃xff0c;量也不大&＃xff0c;所以放在较小较近的L1中。
对于不同层Memory的访存功耗对比&＃xff1a;
芯片性能表现及对比&＃xff1a;在0.65V 3.9MHz下&＃xff0c;运行FCL平均能耗为288uW&＃xff0c;能效为374GOPS/W&＃xff0c;同时支持6~31bit不同位宽的计算。
总结&＃xff1a;一款面向IoT的低功耗深度学习加速器
1、在低功耗、高效率下实现DNN
2、延迟在几个ms的级别&＃xff0c;可以应对IoT的实时性要求
vvvvvvvv# 参考资料
[1] https://reconfigdeeplearning.com/2017/02/09/isscc-2017-session-14-slides14-7
[2] A 288μW Programmable Deep-Learning Processor with 270KB On-Chip Weight Storage Using Non-Uniform Memory Hierarchy for Mobile Intelligence
京公网安备 11010802041100号