论文浏览(13)ResourceEfficient3DConvolutionalNeuralNetworks

0. 前言

• 相关资料&＃xff1a;
  • arxiv
  • github
  • 论文解读
• 论文基本信息
  • 领域&＃xff1a;行为识别
  • 作者单位&＃xff1a;慕尼黑工业大学&英特尔欧洲实验室
  • 发表时间&＃xff1a;2019.4

1. 要解决什么问题

• 3D卷积发展迅猛&＃xff0c;2D轻量化卷积神经网络发展也很快&＃xff0c;但3D轻量化网络却没有太多研究。

2. 用了什么方法

• 把2D轻量化卷积神经网络转换为3D的形式。
• 在以下三个数据集上测试3D卷积网络的性能
  • Kinetics-600&＃xff1a;测试模型容量
  • Jester&＃xff1a;测试模型提取动作特征的能力
  • UCF-101&＃xff1a;测试模型的迁移能力
• 常用block的3D版
  • 
  • 3D-SqueezeNet
    • 最主要的就是Fire模块&＃xff0c;如下图所示。一个类似于分组分组卷积&＃43;concat的操作&＃xff0c;不同组的卷积核不同。
    • 
  • 3D-MobileNetV1
    • 本质就是加入了Depthwise Convolution&＃xff0c;3D版的就是把2D Depthwise改为3D Depthwise。
  • 3D-MobileNetV2
    • 在使用Depthwise Convolution的基础上设计一个类似于resnet block的结构&＃xff0c;改变了relu的位置。
    • 
  • 3D-ShuffleNetV1
    • 本网络的主要特点在于使用了 pointwise group convolution 以及 channel shuffle 操作。
    • 
  • 3D-ShuffleNetV2
    • 主要是改变了channel shuffle的位置。
    • 
• 上述网络总体architecture与2D网络的差不多

3. 效果如何

• 在Kinetics-600 Jester UCF-101 上的性能对比
  • 3D卷积网络没有使用一些(2&＃43;1)D啥的其他操作。
  • 

4. 还存在什么问题

• 都是一些最朴素的2D转3D。

• 最大的好处就是有开源代码&＃xff0c;可以直接用到其他地方&＃xff08;比如slowfast里&＃xff09;。