做到可以与主流模型相比计算量减少了,但是性能却可以一同媲美
一路走来,相关模型的变化v1:深度可分离卷积
v2:反残差,线性瓶颈层(使用线性激活函数)
v3:结合硬件感知的NAS…(自动搜索架构)就很智能不需要人工一个个去尝试,相对来讲更好,也因此你会发现他的那个扩张尺寸很不规律
v1:点卷积去掉,换成组卷积+shuffle操作,减少点卷积的计算量
v2:提出轻量化模型设计指南:
(a)相同的通道宽度可用最小化内存访问
(b)过多的组卷积会增加内存的访问成本
(c)网络碎片会减低并行度(比如可以想到FPN,很多shortcut会占用很大的显存,从而拖慢速度),所以我们v2没有太多的网络分支
(d)元素级别的操作能减少就减少(特征图那些骚操作)
冗余信息可以确保输入信息的全面理解,所以作者不打算去除他,而是选择用更低成本的计算量去获取他
这是他的那个ghostt模块,他将一小部分输出dfm再进行一些线性操作得到,然后与原来的fm进行add(节省计算量),最后是和我们标准的卷积得到的是一样的尺寸
使用的是mobilenetsv3的框架,其中将他的颈部替换成ghost模块。
还提出了宽度因子,与速度成正比,性能成反比