深度神经网络模型，从LeNet5到

欢迎关注博主的公众号&＃xff1a;happyGirl的异想世界。有更多干货还有技术讨论群哦~

LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络&＃xff0c;当年美国大多数银行就是用它来识别支票上面的手写数字的&＃xff0c;它是早期卷积神经网络中最有代表性的实验系统之一。

LenNet-5共有7层&＃xff08;不包括输入层&＃xff09;&＃xff0c;每层都包含不同数量的训练参数&＃xff0c;如下图所示。

其参数&＃xff1a;

• input&＃xff1a;输入图片&＃xff0c;32*32像素&＃xff1b;
• C1&＃xff1a;5*5卷积核&＃xff0c;生成6个feature maps&＃xff0c;共需要&＃xff08;6*5*5 &＃43; 6&＃xff09;&＃61;156个参数&＃xff1b;
• S2&＃xff1a;2*2个像素相加&＃xff0c;然后乘以一个参数&＃xff0c;加上一个偏置&＃xff0c;共计2*6&＃61;12个参数&＃xff1b;
• C3&＃xff1a;5*5卷积核&＃xff0c;生成16个feature maps&＃xff0c;每个feature map由S2中若干个feature maps卷积得到&＃xff0c;如图Table1所示&＃xff1b;
• S4&＃xff1a;和S2相同的操作&＃xff0c;共计16*2 &＃61; 32个参数&＃xff1b;
• C5&＃xff1a;与S4全连接&＃xff0c;共计&＃xff08;5*5*16*120&＃43;120&＃xff09;&＃61;48120个参数&＃xff1b;
• F6&＃xff1a;与C5全连接&＃xff0c;共计&＃xff08;120*84&＃43;84&＃xff09; &＃61; 10164 个参数&＃xff1b;
• output: 与F6全连接。

AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后&＃xff0c;更多的更深的神经网络被提出&＃xff0c;比如优秀的vgg,GoogLeNet。 这对于传统的机器学习分类算法而言&＃xff0c;已经相当的出色。

alexNet为8层深度网络&＃xff0c;其中5层卷积层和3层全连接层&＃xff0c;不计LRN层和池化层。结构图如下图所示&＃xff1a;

详解各层训练参数的计算&＃xff1a;

前五层&＃xff1a;卷积层

后三层&＃xff1a;全连接层

整体计算图&＃xff1a;

也可以这么看&＃xff1a;

VGGNet (https://arxiv.org/pdf/1409.1556.pdf) 发布于2014年&＃xff0c;作者是Karen Simonyan和Andrew Zisserman,该网络表明堆叠多个层是提升计算机视觉性能的关键因素。VGGNet包含16或19层&＃xff0c;主要由小型的3X3卷积操作和2X2池化操作组成。

创新点&＃xff1a;VGGNet全部使用3*3的卷积核和2*2的池化核&＃xff0c;通过不断加深网络结构来提升性能。网络层数的增长并不会带来参数量上的爆炸&＃xff0c;因为参数量主要集中在最后三个全连接层中。同时&＃xff0c;两个3*3卷积层的串联相当于1个5*5的卷积层&＃xff0c;3个3*3的卷积层串联相当于1个7*7的卷积层&＃xff0c;即3个3*3卷积层的感受野大小相当于1个7*7的卷积层。但是3个3*3的卷积层参数量只有7*7的一半左右&＃xff0c;同时前者可以有3个非线性操作&＃xff0c;而后者只有1个非线性操作&＃xff0c;这样使得前者对于特征的学习能力更强。

使用1*1的卷积层来增加线性变换&＃xff0c;输出的通道数量上并没有发生改变。这里提一下1*1卷积层的其他用法&＃xff0c;1*1的卷积层常被用来提炼特征&＃xff0c;即多通道的特征组合在一起&＃xff0c;凝练成较大通道或者较小通道的输出&＃xff0c;而每张图片的大小不变。有时1*1的卷积神经网络还可以用来替代全连接层。

    其他小技巧。VGGNet在训练的时候先训级别A的简单网络&＃xff0c;再复用A网络的权重来初始化后面的几个复杂模型&＃xff0c;这样收敛速度更快。VGGNet作者总结出LRN层作用不大&＃xff0c;越深的网络效果越好&＃xff0c;1*1的卷积也是很有效的&＃xff0c;但是没有3*3的卷积效果好&＃xff0c;因为3*3的网络可以学习到更大的空间特征。

优点&＃xff1a;1.参数量减少了 81%&＃xff08;相比alxexnet&＃xff09;&＃xff0c;而感受野保持不变。

2.小卷积核的使用也扮演了正则化器的角色&＃xff0c;并提高了不同卷积核的有效性。

缺点&＃xff1a;其评估的开销比浅层网络更加昂贵&＃xff0c;内存和参数&＃xff08;140M&＃xff09;也更多。这些参数的大部分都可以归因于第一个全连接层。

 网络结构&＃xff1a;VGGNet的网络结构如下图所示。VGGNet包含很多级别的网络&＃xff0c;深度从11层到19层不等&＃xff0c;比较常用的是VGGNet-16和VGGNet-19。VGGNet把网络分成了5段&＃xff0c;每段都把多个3*3的卷积网络串联在一起&＃xff0c;每段卷积后面接一个最大池化层&＃xff0c;最后面是3个全连接层和一个softmax层。网络结构图&＃xff1a;

代码实现参考自tensorflow的开源实现&＃xff1a;

#%%
# Copyright 2016 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
from datetime import datetime
import math
import time
import tensorflow as tfdef conv_op(input_op, name, kh, kw, n_out, dh, dw, p):n_in &＃61; input_op.get_shape()[-1].valuewith tf.name_scope(name) as scope:kernel &＃61; tf.get_variable(scope&＃43;"w",shape&＃61;[kh, kw, n_in, n_out],dtype&＃61;tf.float32, initializer&＃61;tf.contrib.layers.xavier_initializer_conv2d())conv &＃61; tf.nn.conv2d(input_op, kernel, (1, dh, dw, 1), padding&＃61;&＃39;SAME&＃39;)bias_init_val &＃61; tf.constant(0.0, shape&＃61;[n_out], dtype&＃61;tf.float32)biases &＃61; tf.Variable(bias_init_val, trainable&＃61;True, name&＃61;&＃39;b&＃39;)z &＃61; tf.nn.bias_add(conv, biases)activation &＃61; tf.nn.relu(z, name&＃61;scope)p &＃43;&＃61; [kernel, biases]return activationdef fc_op(input_op, name, n_out, p):n_in &＃61; input_op.get_shape()[-1].valuewith tf.name_scope(name) as scope:kernel &＃61; tf.get_variable(scope&＃43;"w",shape&＃61;[n_in, n_out],dtype&＃61;tf.float32, initializer&＃61;tf.contrib.layers.xavier_initializer())biases &＃61; tf.Variable(tf.constant(0.1, shape&＃61;[n_out], dtype&＃61;tf.float32), name&＃61;&＃39;b&＃39;)activation &＃61; tf.nn.relu_layer(input_op, kernel, biases, name&＃61;scope)p &＃43;&＃61; [kernel, biases]return activationdef mpool_op(input_op, name, kh, kw, dh, dw):return tf.nn.max_pool(input_op,ksize&＃61;[1, kh, kw, 1],strides&＃61;[1, dh, dw, 1],padding&＃61;&＃39;SAME&＃39;,name&＃61;name)def inference_op(input_op, keep_prob):p &＃61; []# assume input_op shape is 224x224x3# block 1 -- outputs 112x112x64conv1_1 &＃61; conv_op(input_op, name&＃61;"conv1_1", kh&＃61;3, kw&＃61;3, n_out&＃61;64, dh&＃61;1, dw&＃61;1, p&＃61;p)conv1_2 &＃61; conv_op(conv1_1, name&＃61;"conv1_2", kh&＃61;3, kw&＃61;3, n_out&＃61;64, dh&＃61;1, dw&＃61;1, p&＃61;p)pool1 &＃61; mpool_op(conv1_2, name&＃61;"pool1", kh&＃61;2, kw&＃61;2, dw&＃61;2, dh&＃61;2)# block 2 -- outputs 56x56x128conv2_1 &＃61; conv_op(pool1, name&＃61;"conv2_1", kh&＃61;3, kw&＃61;3, n_out&＃61;128, dh&＃61;1, dw&＃61;1, p&＃61;p)conv2_2 &＃61; conv_op(conv2_1, name&＃61;"conv2_2", kh&＃61;3, kw&＃61;3, n_out&＃61;128, dh&＃61;1, dw&＃61;1, p&＃61;p)pool2 &＃61; mpool_op(conv2_2, name&＃61;"pool2", kh&＃61;2, kw&＃61;2, dh&＃61;2, dw&＃61;2)# # block 3 -- outputs 28x28x256conv3_1 &＃61; conv_op(pool2, name&＃61;"conv3_1", kh&＃61;3, kw&＃61;3, n_out&＃61;256, dh&＃61;1, dw&＃61;1, p&＃61;p)conv3_2 &＃61; conv_op(conv3_1, name&＃61;"conv3_2", kh&＃61;3, kw&＃61;3, n_out&＃61;256, dh&＃61;1, dw&＃61;1, p&＃61;p)conv3_3 &＃61; conv_op(conv3_2, name&＃61;"conv3_3", kh&＃61;3, kw&＃61;3, n_out&＃61;256, dh&＃61;1, dw&＃61;1, p&＃61;p) pool3 &＃61; mpool_op(conv3_3, name&＃61;"pool3", kh&＃61;2, kw&＃61;2, dh&＃61;2, dw&＃61;2)# block 4 -- outputs 14x14x512conv4_1 &＃61; conv_op(pool3, name&＃61;"conv4_1", kh&＃61;3, kw&＃61;3, n_out&＃61;512, dh&＃61;1, dw&＃61;1, p&＃61;p)conv4_2 &＃61; conv_op(conv4_1, name&＃61;"conv4_2", kh&＃61;3, kw&＃61;3, n_out&＃61;512, dh&＃61;1, dw&＃61;1, p&＃61;p)conv4_3 &＃61; conv_op(conv4_2, name&＃61;"conv4_3", kh&＃61;3, kw&＃61;3, n_out&＃61;512, dh&＃61;1, dw&＃61;1, p&＃61;p)pool4 &＃61; mpool_op(conv4_3, name&＃61;"pool4", kh&＃61;2, kw&＃61;2, dh&＃61;2, dw&＃61;2)# block 5 -- outputs 7x7x512conv5_1 &＃61; conv_op(pool4, name&＃61;"conv5_1", kh&＃61;3, kw&＃61;3, n_out&＃61;512, dh&＃61;1, dw&＃61;1, p&＃61;p)conv5_2 &＃61; conv_op(conv5_1, name&＃61;"conv5_2", kh&＃61;3, kw&＃61;3, n_out&＃61;512, dh&＃61;1, dw&＃61;1, p&＃61;p)conv5_3 &＃61; conv_op(conv5_2, name&＃61;"conv5_3", kh&＃61;3, kw&＃61;3, n_out&＃61;512, dh&＃61;1, dw&＃61;1, p&＃61;p)pool5 &＃61; mpool_op(conv5_3, name&＃61;"pool5", kh&＃61;2, kw&＃61;2, dw&＃61;2, dh&＃61;2)# flattenshp &＃61; pool5.get_shape()flattened_shape &＃61; shp[1].value * shp[2].value * shp[3].valueresh1 &＃61; tf.reshape(pool5, [-1, flattened_shape], name&＃61;"resh1")# fully connectedfc6 &＃61; fc_op(resh1, name&＃61;"fc6", n_out&＃61;4096, p&＃61;p)fc6_drop &＃61; tf.nn.dropout(fc6, keep_prob, name&＃61;"fc6_drop")fc7 &＃61; fc_op(fc6_drop, name&＃61;"fc7", n_out&＃61;4096, p&＃61;p)fc7_drop &＃61; tf.nn.dropout(fc7, keep_prob, name&＃61;"fc7_drop")fc8 &＃61; fc_op(fc7_drop, name&＃61;"fc8", n_out&＃61;1000, p&＃61;p)softmax &＃61; tf.nn.softmax(fc8)predictions &＃61; tf.argmax(softmax, 1)return predictions, softmax, fc8, pdef time_tensorflow_run(session, target, feed, info_string):num_steps_burn_in &＃61; 10total_duration &＃61; 0.0total_duration_squared &＃61; 0.0for i in range(num_batches &＃43; num_steps_burn_in):start_time &＃61; time.time()_ &＃61; session.run(target, feed_dict&＃61;feed)duration &＃61; time.time() - start_timeif i >&＃61; num_steps_burn_in:if not i % 10:print (&＃39;%s: step %d, duration &＃61; %.3f&＃39; %(datetime.now(), i - num_steps_burn_in, duration))total_duration &＃43;&＃61; durationtotal_duration_squared &＃43;&＃61; duration * durationmn &＃61; total_duration / num_batchesvr &＃61; total_duration_squared / num_batches - mn * mnsd &＃61; math.sqrt(vr)print (&＃39;%s: %s across %d steps, %.3f &＃43;/- %.3f sec / batch&＃39; %(datetime.now(), info_string, num_batches, mn, sd))def run_benchmark():with tf.Graph().as_default():image_size &＃61; 224images &＃61; tf.Variable(tf.random_normal([batch_size,image_size,image_size, 3],dtype&＃61;tf.float32,stddev&＃61;1e-1))keep_prob &＃61; tf.placeholder(tf.float32)predictions, softmax, fc8, p &＃61; inference_op(images, keep_prob)init &＃61; tf.global_variables_initializer()config &＃61; tf.ConfigProto()config.gpu_options.allocator_type &＃61; &＃39;BFC&＃39;sess &＃61; tf.Session(config&＃61;config)sess.run(init)time_tensorflow_run(sess, predictions, {keep_prob:1.0}, "Forward")objective &＃61; tf.nn.l2_loss(fc8)grad &＃61; tf.gradients(objective, p)time_tensorflow_run(sess, grad, {keep_prob:0.5}, "Forward-backward")batch_size&＃61;32
num_batches&＃61;100
run_benchmark()
ResNet

何凯明2016CVPR&＃xff1a;Deep Residual Learning for Image Recognition

代表网络 :resnet50 resnet101,resnet152

优点&＃xff1a;

1.增加了神经网络架构的跳过连接&＃xff08;skip connection&＃xff09;&＃xff0c;卷积层的默认函数变成了恒等函数&＃xff0c;卷积核学到的任何新信息都可以在基本表征中添加或减去&＃xff0c;因此更容易优化残差映射。跳过连接不会增加参数的数量&＃xff0c;但可以获得更稳定的训练和显著的性能提升。

2.每次卷积完成后、激活进行前都采取批归一化。

3.网络删除了全连接层&＃xff0c;并使用平均池化层减少参数的数量。由于网络加深&＃xff0c;卷积层的抽象能力更强&＃xff0c;从而减少了对全连接层的需求。

4.引用1*1卷机来降维和升维&＃xff0c;在进行3*3卷机之前&＃xff0c;先对特征图进行降为&＃xff0c;卷机后升维&＃xff0c;恢复原来的维度。这样进行卷机操作的时候可以降低参数的数量&＃xff0c;而且可以增加非线性。

具体&＃xff1a;

&＃xff08;详见http://baijiahao.baidu.com/s?id&＃61;1601882944953788623&wfr&＃61;spider&for&＃61;pc&＃xff09;

代表网络 :

Inception v1&＃xff0c;

Inception v2 和 Inception v3&＃xff0c;

Inception v4 和 Inception-ResNet

Inception v1

论文&＃xff1a;Going deeper with convolutions

论文链接&＃xff1a;https://arxiv.org/pdf/1409.4842v1.pdf

Inception v2

论文&＃xff1a;Rethinking the Inception Architecture for Computer Vision

论文地址&＃xff1a;https://arxiv.org/pdf/1512.00567v3.pdf

Inception v3

这个非常常用

问题&＃xff1a;

作者注意到辅助分类器直到训练过程快结束时才有较多贡献&＃xff0c;那时准确率接近饱和。作者认为辅助分类器的功能是正则化&＃xff0c;尤其是它们具备 BatchNorm 或 Dropout 操作时。是否能够改进 Inception v2 而无需大幅更改模块仍需要调查。

解决方案&＃xff1a;

Inception Net v3 整合了前面 Inception v2 中提到的所有升级&＃xff0c;还使用了&＃xff1a;

RMSProp 优化器&＃xff1b;Factorized 7x7 卷积&＃xff1b;辅助分类器使用了 BatchNorm&＃xff1b;标签平滑&＃xff08;添加到损失公式的一种正则化项&＃xff0c;旨在阻止网络对某一类别过分自信&＃xff0c;即阻止过拟合&＃xff09;。

Inception v4

由于v3无法解决太多类别

Inception v4 和 Inception -ResNet 在同一篇论文《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》中介绍。为清晰起见&＃xff0c;我们分成两个部分来介绍。

在该论文中&＃xff0c;研究者介绍道&＃xff0c;Inception 架构可以用很低的计算成本达到很高的性能。而在传统的网络架构中引入残差连接曾在 2015ILSVRC 挑战赛中获得当前最佳结果&＃xff0c;其结果和 Inception-v3 网络当时的最新版本相近。这使得人们好奇&＃xff0c;如果将 Inception 架构和残差连接结合起来会是什么效果。在这篇论文中&＃xff0c;研究者通过实验明确地证实了&＃xff0c;结合残差连接可以显著加速 Inception 的训练。也有一些证据表明残差 Inception 网络在相近的成本下略微超过没有残差连接的 Inception 网络。研究者还展示了多种新型残差和非残差 Inception 网络的简化架构。这些变体显著提高了在 ILSVRC2012 分类任务挑战赛上的单帧识别性能。作者进一步展示了适当的激活值缩放如何稳定非常宽的残差 Inception 网络的训练过程。通过三个残差和一个 Inception v4 的模型集成&＃xff0c;作者在 ImageNet 分类挑战赛的测试集上取得了 3.08% 的 top-5 误差率。

论文&＃xff1a;Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

论文地址&＃xff1a;https://arxiv.org/pdf/1602.07261.pdf

Inception-ResNet v1 和 v2

受 ResNet 的优越性能启发&＃xff0c;研究者提出了一种混合 inception 模块。Inception ResNet 有两个子版本&＃xff1a;v1 和 v2。在我们分析其显著特征之前&＃xff0c;先看看这两个子版本之间的微小差异。

Inception-ResNet v1 的计算成本和 Inception v3 的接近。Inception-ResNetv2 的计算成本和 Inception v4 的接近。它们有不同的 stem&＃xff0c;正如 Inception v4 部分所展示的。两个子版本都有相同的模块 A、B、C 和缩减块结构。唯一的不同在于超参数设置。在这一部分&＃xff0c;我们将聚焦于结构&＃xff0c;并参考论文中的相同超参数设置&＃xff08;图像是关于 Inception-ResNet v1 的&＃xff09;。

问题&＃xff1a;

引入残差连接&＃xff0c;它将 inception 模块的卷积运算输出添加到输入上。

解决方案&＃xff1a;

为了使残差加运算可行&＃xff0c;卷积之后的输入和输出必须有相同的维度。因此&＃xff0c;我们在初始卷积之后使用 1x1 卷积来匹配深度&＃xff08;深度在卷积之后会增加&＃xff09;。

V1

1.使用更简单的inception模型。并且每个inception分支后面都跟着一个1x1线性卷积层&＃xff08;就是不带激活函数的卷积层&＃xff09;&＃xff0c;这是为了匹配输入时的维度&＃xff0c;因为残差分支是直接将输入送给输出&＃xff0c;但是inception这边很明显进行通道压缩了&＃xff0c;所以要通过1x1卷积重新扩增到输入时的维度&＃xff0c;用原文话说就是&＃xff0c;补偿inception模块带来的降维。

2.它说如果通道数量超过1000时&＃xff0c;这个inception-resnet就会失去稳定&＃xff0c;并且在训练的早期死亡&＃xff0c;死亡意指几千次迭代后在平均池化前的最后一层会开始完全零化&＃xff0c;就是只产生很小的数。并且这种现象无法被避免&＃xff0c;无论是调低学习率还是增加批次归一化在这一层。但是他们发现如果在将其添加到前一层激活函数之前进行缩小似乎就能稳定训练&＃xff0c;一般他们会挑选一些0.1到0.3之间的缩放系数在进行累加层激活之前来压缩inception-resnet模组。

Reduction-A&＃xff1a;

inception-resnet-A&＃xff1a;

1.使用更简单的inception模型。并且每个inception分支后面都跟着一个1x1线性卷积层&＃xff08;就是不带激活函数的卷积层&＃xff09;&＃xff0c;这是为了匹配输入时的维度&＃xff0c;因为残差分支是直接将输入送给输出&＃xff0c;但是inception这边很明显进行通道压缩了&＃xff0c;所以要通过1x1卷积重新扩增到输入时的维度&＃xff0c;用原文话说就是&＃xff0c;补偿inception模块带来的降维。

2.它说如果通道数量超过1000时&＃xff0c;这个inception-resnet就会失去稳定&＃xff0c;并且在训练的早期死亡&＃xff0c;死亡意指几千次迭代后在平均池化前的最后一层会开始完全零化&＃xff0c;就是只产生很小的数。并且这种现象无法被避免&＃xff0c;无论是调低学习率还是增加批次归一化在这一层。但是他们发现如果在将其添加到前一层激活函数之前进行缩小似乎就能稳定训练&＃xff0c;一般他们会挑选一些0.1到0.3之间的缩放系数在进行累加层激活之前来压缩inception-resnet模组。

Reduction-A&＃xff1a;

这张图上通道数是变量。这个模组是三个模型共用的&＃xff0c;所以不同模型有不同系数。reduction就是减少的意思&＃xff0c;这个模组负责减半数据空间尺寸&＃xff0c;并且加深通道&＃xff0c;不知道从某种程度上我们是否可以将其理解为聚集特征。

inception-resnet-B&＃xff1a;

inception-resnet-C&＃xff1a;

ResNeXt&＃xff1a;

文中提出了另外一种维度cardinality&＃xff0c;和channel和space的维度不同&＃xff0c;cardinality维度主要表示ResNeXt中module的个数。

1.增大Cardinality比增大模型的width或者depth效果更好

2.与 ResNet 相比&＃xff0c;ResNeXt 参数更少&＃xff0c;效果更好&＃xff0c;结构更加简单&＃xff0c;更方便设计

Xception&＃xff1a;

在Inception V3的基础上提出了Xception&＃xff08;Extreme Inception&＃xff09;&＃xff0c;基本思想就是通道分离式卷积&＃xff08;depthwise separable convolution operation&＃xff09;。模型参数有微量的减少&＃xff0c;减少量很少。精度较Inception V3有提高&＃xff0c;但提高不大。卷积的操作上面&＃xff0c;主要进行2种变换&＃xff0c;空间变换和通道变换而Xception就是在这2个变换上做文章。

1.ception V3是先做1*1的卷积&＃xff0c;再做3*3的卷积&＃xff0c;这样就先将通道进行了合并&＃xff0c;即通道卷积&＃xff0c;然后再进行空间卷积&＃xff0c;而Xception则正好相反&＃xff0c;先进行空间的3*3卷积&＃xff0c;再进行通道的1*1卷积。

2.这个区别是最不一样的&＃xff0c;Inception V3在每个module中都有RELU操作&＃xff0c;而Xception在每个module中是没有RELU操作的。

mobilenets:

MobileNets其实就是Exception思想的应用。区别就是Exception文章重点在提高精度&＃xff0c;而MobileNets重点在压缩模型&＃xff0c;同时保证精度。obileNets模型基于深度可分解的卷积&＃xff0c;它可以将标准卷积分解成一个深度卷积和一个点卷积&＃xff08;1 × 1卷积核&＃xff09;。深度卷积将每个卷积核应用到每一个通道&＃xff0c;而1 × 1卷积用来组合通道卷积的输出。

宽度乘数&＃xff1a;

这里介绍模型的第一个超参数&＃xff0c;即宽度乘数 α 。为了构建更小和更少计算量的网络&＃xff0c;作者引入了宽度乘数 α &＃xff0c;作用是改变输入输出通道数&＃xff0c;减少特征图数量&＃xff0c;让网络变瘦。在 α 参数作用下&＃xff0c;MobileNets某一层的计算量为&＃xff1a;

DK×DK×αM×DF×DF&＃43;αM×αN×DF×DF

其中&＃xff0c; α 取值是0~1&＃xff0c;应用宽度乘数可以进一步减少计算量&＃xff0c;大约有 α2 的优化空间。

分辨率乘数&＃xff1a;

第二个超参数是分辨率乘数 ρ &＃xff0c;分辨率乘数用来改变输入数据层的分辨率&＃xff0c;同样也能减少参数。在 α 和 ρ 共同作用下&＃xff0c;MobileNets某一层的计算量为&＃xff1a;

DK×DK×αM×ρDF×ρDF&＃43;αM×αN×ρDF×ρDF

其中&＃xff0c;ρ 是隐式参数&＃xff0c;ρ 如果为{1&＃xff0c;6/7&＃xff0c;5/7&＃xff0c;4/7}&＃xff0c;则对应输入分辨率为{224&＃xff0c;192&＃xff0c;160&＃xff0c;128}&＃xff0c;ρ 参数的优化空间同样是 ρ2 左右。 表3可以看出两个超参数在减少网络参数的上的作用。

参考文献&＃xff1a;

&＃xff08;第3个为LeNet-5&＃xff0c;第4个为AlexNet&＃xff0c;第5个VGG&＃xff0c;&＃xff09;

https://www.e-learn.cn/content/qita/725036

http://www.360doc.com/content/18/0402/16/48868863_742310994.shtml

https://blog.csdn.net/happyorg/article/details/78274066 

https://blog.csdn.net/u012679707/article/details/80793916

https://blog.csdn.net/u013181595/article/details/80974210

http://baijiahao.baidu.com/s?id&＃61;1601882944953788623&wfr&＃61;spider&for&＃61;pc