深度学习参数和架构设计技巧
Caffe 模型微调 的场景、问题、技巧以及解决方案
Must Know Tips/Tricks in Deep Neural Networks (by Xiu-Shen Wei)

2 数据增强&＃xff08;data augmentation &＃xff09;

在深度学习中&＃xff0c;有的时候训练集不够多&＃xff0c;或者某一类数据较少&＃xff0c;或者为了防止过拟合&＃xff0c;让模型更加鲁棒性&＃xff0c;data augmentation是一个不错的选择。

常见方法&＃xff1a;
Color Jittering&＃xff1a;对颜色的数据增强&＃xff1a;图像亮度、饱和度、对比度变化&＃xff08;此处对色彩抖动的理解不知是否得当&＃xff09;&＃xff1b;
PCA Jittering&＃xff1a;首先按照RGB三个颜色通道计算均值和标准差&＃xff0c;再在整个训练集上计算协方差矩阵&＃xff0c;进行特征分解&＃xff0c;得到特征向量和特征值&＃xff0c;用来做PCA Jittering&＃xff1b;
Random Scale&＃xff1a;尺度变换&＃xff1b;
Random Crop&＃xff1a;采用随机图像差值方式&＃xff0c;对图像进行裁剪、缩放&＃xff1b;包括Scale Jittering方法&＃xff08;VGG及ResNet模型使用&＃xff09;或者尺度和长宽比增强变换&＃xff1b;
Horizontal/Vertical Flip&＃xff1a;水平/垂直翻转&＃xff1b;
Shift&＃xff1a;平移变换&＃xff1b;
Rotation/Reflection&＃xff1a;旋转/仿射变换&＃xff1b;
Noise&＃xff1a;高斯噪声、模糊处理&＃xff1b;
Label shuffle&＃xff1a;类别不平衡数据的增广&＃xff0c;参见海康威视ILSVRC2016的report&＃xff1b;另外&＃xff0c;文中提出了一种Supervised Data Augmentation方法&＃xff0c;有兴趣的朋友的可以动手实验下。

3、ResNet

论文&＃xff1a; Deep Residual Learning for Image Recognition
翻译&＃xff1a;
1、[译] Deep Residual Learning for Image Recognition (ResNet) &＃xff08;翻译的比较好&＃xff0c;推荐&＃xff01;&＃xff09;
2、 获奖无数的深度残差学习&＃xff0c;清华学霸的又一次No.1 | CVPR2016 最佳论文

4、 GoogLeNet

论文地址&＃xff1a;

1. Inception[V1]: Going Deeper with Convolutions
2. Inception[V2]: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
3. Inception[V3]: Rethinking the Inception Architecture for Computer Vision
4. Inception[V4]: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

相关资料整理&＃xff1a;

1、 Inception[V1]: Going Deeper with Convolutions
论文翻译
解读材料&＃xff1a;

2、Inception[V2]: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
论文翻译 &＃xff08;不全&＃xff09;
解读材料&＃xff1a;
《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现 &＃xff08;评价&＃xff1a;自我感觉 这篇blog有点深奥&＃xff0c;不是很容易懂。需要很好的数学功底和图像处理知识。&＃xff09;

Batch Normalization导读 &＃xff08;评价&＃xff1a;这篇blog把BN的基础、本质讲的很到位。提及到了本质。&＃xff09;

论文笔记-Batch Normalization &＃xff08;评价&＃xff1a;这篇blog是对BN全篇论文的总结&＃xff0c;扣出了paper重点部分。&＃xff09;

3、Inception[V3]: Rethinking the Inception Architecture for Computer Vision

《Rethinking the Inception Architecture for Computer Vision》笔记 &＃xff08;评价&＃xff1a;这篇blog是对V3论文的总结&＃xff0c;扣出了paper重点部分&＃xff0c;内容较全&＃xff09;

GoogLeNet系列解读 &＃xff08;评价&＃xff1a;这篇blog是对V3论文的总结&＃xff0c;扣出了paper部分重点。&＃xff09;

4、Inception[V4]&＃xff1a;Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
GoogLeNet&＃xff1a;Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文笔记 &＃xff08;评价&＃xff1a; 总结的不错&＃xff09;

5、其他资料
Deep Learning-TensorFlow (13) CNN卷积神经网络_ GoogLeNet 之 Inception(V1-V4)

5、 通过网络结构估算caffemodel文件的大小

6、通过pre-trianed caffemodel文件大小推出自己任务训练得到的caffemodel文件大小

在Netscope 中画出这个网络的网络结构图&＃xff0c;一般我们主要更改的是最后一个全连接层的分类类别数目&＃xff0c;此网络分类类别数目是21841个类别&＃xff0c;global_pool层输出1024个特征&＃xff0c;而官方给的fint-tune模型是134.9M大&＃xff0c;假设我们做二分类任务&＃xff0c;则最终我们根据二分类任务训练得到的caffemodel大小为&＃xff1a;134.9M-&＃xff08;1024*21841×4/1024/1024&＃xff09;&＃43;&＃xff08;1024*2×4/1024/1024&＃xff09;≈49.6M

7、深度学习中的损失函数总结以及Center Loss函数笔记

文章内总结如下&＃xff1a;
1、一种新的loss函数,看起来效果不错,而且也更加符合认知,生成的模型鲁棒性可能更好.
2、本质是度量学习,经常应用在分类领域,原理简单,计算复杂度不大,经常能提升效果.
3、有点使用空间换取时间的意思.
4、属于一个trick.不一定适合所有场景.一般来说,如果同一类样本很类似如mnist手写数字,人脸数据,那么centerloss往往能够带来效果提升.而如果本身同一类样本就差异很大,如cifar100,那么则不一定.也可以理解成一个人的一堆脸取平均值仍然是他的脸,而一堆不同的狗取平均值则可能难以认出是什么.
5、参数设置:a一般取0.5,lambda则0.1-0.0001之间不等,需要实验调参.

8、VGG

论文翻译&＃xff1a; VGG&＃xff1a;VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION译文

9、DL需要Finetune的原因

摘自知乎&＃xff1a;
AlexNet、Network in Network 、VGG、GoogLeNet、Resnet等CNN网络都是图片分类网络, 都是在imagenet上1.2 million数据训练出来的。由于从这些pretrained网络抽出来的deep feature有良好的generalization的能力&＃xff0c;可以应用到其他不同的CV问题&＃xff0c;而且比传统的hand-craft feature如SIFT&＃xff0c;bag of word要好一大截&＃xff0c;所以得到广泛应用。目前大部分的high-level vision相关的问题&＃xff0c;都是利用基于CNN的方法了。花点时间去了解这几个核心分类网络的结构和发展&＃xff0c;是挺有必要的。一般来说&＃xff0c;某CNN网络在imagenet上面的分类结果越好&＃xff0c;其deep feature的generalization能力越强。最近出现蛮多论文&＃xff0c;里面在benchmark上面的比较是自己方法的核心网络换成resnet&＃xff0c;然后去比别人基于vgg或者alexnet的方法&＃xff0c;自然要好不少。所以对于某个CV的问题&＃xff0c;选一个优秀的核心网络作为基础&＃xff0c;然后fine-tune, 已经是套路&＃xff0c;这点从ResNet那篇论文的citation的增长就可以看出来。
所以&＃xff0c;fine-tune的原因一是训练AlexNet等网络需要imagenet, places等million级别的数据&＃xff0c;一般的CV任务都没有这么多数据。二是因为pre-trained model本身的feature已经足够generalizable&＃xff0c;可以立刻应用到另外一个CV任务。

10、caffe中的iteration,batch_size, epochs理解

深度学习中经常看到epoch、 iteration和batchsize&＃xff0c;下面按自己的理解说说这三个的区别&＃xff1a;
&＃xff08;1&＃xff09;batchsize&＃xff1a;批大小。在深度学习中&＃xff0c;一般采用SGD训练&＃xff0c;即每次训练在训练集中取batchsize个样本训练&＃xff1b;
&＃xff08;2&＃xff09;iteration&＃xff1a;1个iteration等于使用batchsize个样本训练一次&＃xff1b;
&＃xff08;3&＃xff09;epoch&＃xff1a;1个epoch等于使用训练集中的全部样本训练一次&＃xff1b;
举个例子&＃xff0c;训练集有1000个样本&＃xff0c;batchsize&＃61;10&＃xff0c;那么&＃xff1a;训练完整个样本集需要&＃xff1a;100次iteration&＃xff0c;1次epoch。

深度机器学习中的batch的大小对学习效果有何影响&＃xff1f;

就像lecun里说的一样&＃xff0c;随机梯度下降不能像full batch那样明显的保证收敛。一般而言&＃xff0c;根据你的GPU显存&＃xff0c;设置为最大&＃xff0c;而且一般要求是8的倍数&＃xff08;比如32&＃xff0c;128&＃xff09;&＃xff0c;这样&＃xff0c;GPU内部的并行运算效率最高

基于SGD的训练batch size不能取过大。过大的batchsize的结果是网络很容易收敛到一些不好的局部最优点。。同样太小的batch也存在一些问题&＃xff0c;比如训练速度很慢&＃xff0c;训练不容易收敛等。。具体的batch size的选取和训练集的样本数目相关。。举个例子&＃xff0c;比如在3小时的语音识别库&＃xff08;大约108万个样本&＃xff09;训练DNN,通常batch 取128..而在300小时的库上会取1024..

batch_size设的大一些&＃xff0c;收敛得快&＃xff0c;也就是需要训练的次数少&＃xff0c;准确率上升得也很稳定&＃xff0c;但是实际使用起来精度不高。
batch_size设的小一些&＃xff0c;收敛得慢&＃xff0c;而且可能准确率来回震荡&＃xff0c;所以还要把基础学习速率降低一些&＃xff1b;但是实际使用起来精度较高。

接触到pooling主要是在用于图像处理的卷积神经网络中&＃xff0c;但随着深层神经网络的发展&＃xff0c;pooling相关技术在其他领域&＃xff0c;其他结构的神经网络中也越来越受关注。
这个图是一个典型的卷积神经网络结构图&＃xff0c;其中的卷积层是对图像的一个邻域进行卷积得到图像的邻域特征&＃xff0c;亚采样层就是使用pooling技术将小邻域内的特征点整合得到新的特征。
pooling的结果是使得特征减少&＃xff0c;参数减少&＃xff0c;但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性&＃xff08;旋转、平移、伸缩等&＃xff09;&＃xff0c;常用的有mean-pooling&＃xff0c;max-pooling和Stochastic-pooling三种。

11、pooling层

mean-pooling&＃xff0c;即对邻域内特征点只求平均&＃xff0c;max-pooling&＃xff0c;即对邻域内特征点取最大。根据相关理论&＃xff0c;特征提取的误差主要来自两个方面&＃xff1a;&＃xff08;1&＃xff09;邻域大小受限造成的估计值方差增大&＃xff1b;&＃xff08;2&＃xff09;卷积层参数误差造成估计均值的偏移。
一般来说&＃xff0c;mean-pooling能减小第一种误差&＃xff0c;更多的保留图像的背景信息&＃xff0c;max-pooling能减小第二种误差&＃xff0c;更多的保留纹理信息。Stochastic-pooling则介于两者之间&＃xff0c;通过对像素点按照数值大小赋予概率&＃xff0c;再按照概率进行亚采样&＃xff0c;在平均意义上&＃xff0c;与mean-pooling近似&＃xff0c;在局部意义上&＃xff0c;则服从max-pooling的准则。
LeCun的“Learning Mid-Level Features For Recognition”对前两种pooling方法有比较详细的分析对比&＃xff0c;如果有需要可以看下这篇论文。
A Theoretical Analysis of Feature Pooling in Visual Recognition
Learning Mid-Level Features For Recognition
Learning Mid-Level Features For Recognition

pooling原因一是仿照人的视觉系统进行降维&＃xff08;降采样&＃xff09;&＃xff0c;用更高层的抽象表示图像特征&＃xff0c;这一部分内容从Hubel&wiesel视觉神经研究到Fukushima提出&＃xff0c;再到LeCun的LeNet5首次采用并使用BP进行求解&＃xff0c;是一条线上的内容&＃xff0c;原始推动力其实就是仿生&＃xff0c;仿照真正的神经网络构建人工网络。二LeCun在98年的文章中对这种降采样其实有一些回答&＃xff0c;就是当我们在第一层卷积得到一些特征时&＃xff0c;这些特征的组合是我们判断原始图像是什么的关键&＃xff0c;因此特征的绝对位置已经不那么重要&＃xff0c;其相对位置更重要&＃xff0c;举个栗子&＃xff1a;字符‘7’&＃xff0c;手写的时候提取的特征可能是左上方一条横线特征&＃xff0c;右上方一个弯曲特征&＃xff0c;然后下方有个稍向左下偏的竖线特征&＃xff0c;注意我们判断的时候用的左右&＃xff0c;上下这些不精确的相对位置&＃xff0c;而不是相差多少个像素这种绝对位置。使用相对位置的好处是对一些平移&＃xff0c;卷曲&＃xff0c;旋转更鲁棒&＃xff0c;否则你的正确接受率可能很高&＃xff0c;但错误拒绝率会同样高。

12、R-CNN系列

2014-RCNN-Rich feature hierarchies for accurate object detection and semantic segmentation 翻译
HOG特征
HOG特征
链接中&＃xff0c;利用任意一种梯度算子&＃xff0c;例如&＃xff1a;sobel&＃xff0c;laplacian等&＃xff0c;对该patch进行卷积&＃xff0c;计算得到每个像素点处的梯度方向和幅值。具体公式如下&＃xff1a;

具体算法为&＃xff1a;

13、nvidia

Ubuntu下有关显存的命令
nvidia-smi命令
nvidia-smi命令解读
nvidia-smi: Control Your GPUs

&＃xff08;图片来源&＃xff1a;【Caffe实战与小数据深度学习】CNN的近期进展与实用技巧&＃xff08;下&＃xff09; &＃xff09;
Caffe当中目前支持单机多卡的分布式训练&＃xff0c;但是基于同步模式&＃xff0c;每一轮迭代都要进行梯度的交换。因此在多GPU服务器上就可能存在GPU之间的通讯瓶颈&＃xff0c;如果GPU之间不支持P2P方式连接而采用socket连接&＃xff0c;会极大影响GPU并行的加速比。Linux下可以采用nvidia-smi topo –m命令查看&＃xff0c;如果两块显卡之间的桥接方式为SOC也就是socket连接&＃xff0c;那么不推荐使用这两块显卡进行分布式训练。注意显卡的桥接方式由主板硬件决定&＃xff0c;无法通过软件修改设置。

14、AlexNet

论文地址&＃xff1a; ImageNet Classification with Deep Convolutional Neural Networks
论文翻译&＃xff1a;AlexNet论文翻译与解读

15、Xavier

来自这篇论文《Understanding the difficulty of training deep feedforward neural networks》


具体内容请参考
CNN数值——xavier&＃xff08;上&＃xff09;
CNN数值——xavier&＃xff08;下&＃xff09;

论文大致翻译&＃xff1a;Understanding the difficulty of training deep feedforward neural networks