文献阅读（11）FlexFlow

• 题目&＃xff1a;Deep Convolutional Neural Network Architecture With Reconfigurable Computation Patterns
• 时间&＃xff1a;2017
• 期刊&＃xff1a; TVLSI
• 研究机构&＃xff1a;清华大学
• 参考博客&＃xff1a;https://blog.csdn.net/darknessdarkness/article/details/106251428

本篇论文的主要贡献&＃xff1a;

1. DNA can reconfigure its data paths to support a hybrid data reuse pattern for different layer sizes
2. DNA can reconfigure its computing resources to support a highly scalable and efficient mapping method
3. A layer-based scheduling framework is proposed to reconfigure DNA’s resources

首先明确参数&＃xff1a;

• N&＃xff1a;输入通道数
• M&＃xff1a;输出通道数
• L&＃xff1a;输入特征图宽度
• H&＃xff1a;输入特征图高度
• C&＃xff1a;输出特征图宽度
• R&＃xff1a;输出特征图高度
• K&＃xff1a;卷积核宽度
  
  DRAM访问次数为IN∗αi&＃43;OUT∗αo&＃43;WGT∗αw&＃43;TotalPooledOutputIN * \alpha_i &＃43; OUT * \alpha_o &＃43; WGT * \alpha_w &＃43; TotalPooledOutputIN∗αi​&＃43;OUT∗αo​&＃43;WGT∗αw​&＃43;TotalPooledOutput
  其中αi\alpha_iαi​、αw\alpha_wαw​、αo\alpha_oαo​分别表示输入特征图、权重、输出特征图的数据复用次数

2.1 输入复用Input Reuse(IR)

输入的特征图&＃xff0c;先沿输出通道方向算&＃xff0c;再沿输入通道方向算&＃xff0c;这样特征图只需要加载一次&＃xff0c;即αi&＃61;1\alpha_i &＃61; 1αi​&＃61;1&＃xff0c;此时αw\alpha_wαw​取决于输入特征图在宽度和高度方向tiling的次数&＃xff0c;αo\alpha_oαo​取决于权重在输出通道方向tiling的次数

缺点&＃xff1a; 输入特征图存在overlay的区域

2.2 输出复用Output Reuse(OR)

如下图&＃xff0c;先沿输入通道算&＃xff0c;再沿输出通道算&＃xff0c;输出特征图一直在累加&＃xff0c;所以αo&＃61;0\alpha_o &＃61; 0αo​&＃61;0&＃xff0c;而αi\alpha_iαi​取决于输出通道tiling次数&＃xff0c;αw\alpha_wαw​取决于输出特征图宽度和高度方向tiling次数

2.3 权重复用Weight Reuse(WR)

• 题目&＃xff1a;FlexFlow: A Flexible Dataflow Accelerator Architecture for Convolutional Neural Networks
• 时间&＃xff1a;2017
• 会议&＃xff1a;HPCA
• 研究机构&＃xff1a;中科院计算所
• 参考博客&＃xff1a;https://zhuanlan.zhihu.com/p/109041345

这有几个概念是跟我们之前的理解不一样&＃xff1a;

• Feature map Parallelism (FP)&＃xff1a;对应输入通道和输出通道
• Neuron Parallelism (NP)&＃xff1a;对应输出特征图宽度和高度方向
• Synapse Parallelism (SP)&＃xff1a;对应了一个3x3或5x5 kernel内部的并行度

针对架构的分类&＃xff0c;同样采用了Neuron、Synapse的概念&＃xff0c;比如说3x3kernel内部并行的SP对应了(a)的脉动阵列&＃xff0c;输出特征图宽度和高度方向的NP对应了(b)的2D mapping&＃xff0c;而FP对应了tiling&＃xff0c;倒是比较接近我们的设计

PE结构如下图所示&＃xff0c;可以发现每个PE内部都会有一个local buffer&＃xff0c;方便实现不同数据的重排&＃xff0c;那么卷积操作一共分成三步

• DataFlow1: 数据分发到PEDistribution Layer to Local Store
• DataFlow2: Local Store to Operator
• DataFlow3: Neuron and Kernel Buffers to Distribution Layer
  
  下图展示了混合并行度的情况&＃xff0c;对于(a)&＃xff0c;包括了
• 输出通道方向并行度 x2
• kernel内部并行度 x4
• 输出特征图x方向 x2

对于(b)&＃xff0c;包括了

• 输出通道方向并行度 x2
• 输入通道方向并行度 x2
• kernel内部并行度 x2
• 输出特征图x方向 x2

下面这个图对应了上图(a)&＃xff0c;表示是具体数据分布方式&＃xff0c;黑箭头表示t时刻数据访问&＃xff0c;灰箭头表示t&＃43;1时刻数据访问。

• 在t时刻时&＃xff0c;第一行PE对应了输入特征图的0-3
• 在t时刻时&＃xff0c;第一行PE对应了输入特征图的1-4
• 在t&＃43;1时刻时&＃xff0c;第一行PE对应了输入特征图的2-5
• 在t&＃43;1时刻时&＃xff0c;第一行PE对应了输入特征图的3-6

可以发现&＃xff0c;数据按下面的排布方式&＃xff0c;不会出现bank conflict

可以说&＃xff0c;想要实现灵活的数据流&＃xff0c;主要的难度都在这个数据排布和重组上