深度学习算法面试常问问题（一）

项目叙述&＃xff1a;

1. 算法需求及应用场景
2. 算法的调研和初步方案的制定
3. 数据的准备&＃xff08;包括数据标注和数据增强&＃xff09;
4. 算法的介绍&＃xff08;包括输入和输出&＃xff0c;loss、backbone、训练细节等&＃xff09;
5. 自己对算法增加的模块的介绍&＃xff08;为什么要这样改&＃xff1f;消融实验&＃xff09;
6. 各种指标的计算
7. 算法是否兼顾到参数量和推理速度等

mIOU

一个衡量图像分割精度的重要指标&＃xff0c;mIOU可解释为平均交并比&＃xff0c;即在每个类别上计算Iou值&＃xff08;真正样本数量 / &＃xff08;真正样本数量&＃43;假负样本数量&＃43;假正样本数量&＃xff09;&＃xff09;

空洞卷积的优缺点

优点&＃xff1a;在不做下采样的情况下&＃xff0c;加大感受野

缺点&＃xff1a;1. 网格效应&＃xff0c;如果仅仅多次堆叠多个空洞率为2 的 3*3卷积核&＃xff0c;会发现并不是所有输入像素点都会得到计算&＃xff0c;也就是卷积核不连续。在逐像素的预测任务中&＃xff0c;这是致命的。

2. 远距离的信息可能不相关&＃xff0c;导致空洞卷积对大物体分割有效果&＃xff0c;对小物体分割可能没好处

如何克服网格效应?

• 叠加空洞卷积的膨胀率不能有大于1的公约数。这是为了对抗网格效应。&＃xff08;2&＃xff0c;4&＃xff0c;6&＃xff09;就不行
• 将膨胀率设计成锯齿状结构&＃xff0c;这是为了满足大小物体的需求。[1&＃xff0c;2&＃xff0c;5&＃xff0c;1&＃xff0c;2&＃xff0c;5]
• 最后一层的空洞卷积的膨胀率最大&＃xff0c;且膨胀率小于等于 卷积核大小。主要对抗网格效应。

1x1卷积核作用

• 通过控制卷积核个数来实现升维和降维
• 对不同特征进行归一化操作
• 跨通道信息交互
• 增加网络的非线性

转置卷积&＃xff1a;

当填充为0 步幅为1&＃xff1a;

• 将输入填充k-1 &＃xff08;k 为卷积核大小&＃xff09;
• 将卷积核上下&＃xff0c;左右翻转
• 然后做正常卷积&＃xff08;填充0、步幅为1&＃xff09;

步幅为s&＃xff1a;在行列之间插入 s-1行或列

CenterNet的原理&＃xff0c;与传统的目标检测有什么不同点&＃xff1f;

CenterNet是anchor-free&＃xff0c;与yolov3相比&＃xff0c;速度相同的情况下&＃xff0c;CenterNet精度比yolov3高好几个点&＃xff0c;不需要NMS&＃xff0c;直接检测目标中心点和大小。

算法流程&＃xff1a;

• 1 x 3 x 512 x 512 经过backbone特征提取后 得到32倍下采样特征图 1 x 2048 x 16 x 16
• 然后再经过三层转置卷积模块上采样到 128 x 128&＃xff0c;最后送入三个head分支进行预测
• 预测结果分别为物体类别、长宽尺寸和中心点偏置
• 推理的核心是从heatmap中提取需要的bounding box&＃xff0c;通过使用3x3的最大池化&＃xff0c;检查当前热点值是否比周围的8个临近点值都大&＃xff0c;每个类别取100个点&＃xff0c;经过box后处理再通过阈值筛选&＃xff0c;得到最终的预测框。

CSP结构原理和作用&＃xff1a;

CSP是一种思想&＃xff0c;与resnet、densenet类似。它将feature map拆分两个部分&＃xff0c;一部分进行卷积操作、另一个部分与上一部分卷积操作的结果进行cat。解决了三个问题&＃xff1a;

• 增强CNN学习能力&＃xff0c;能够在轻量化的同时保持着准确性
• 降低计算成本
• 降低内存开销。CSPNet改进了密集块和过渡块的信息流&＃xff0c;优化了梯度反向传播路径&＃xff0c;提升网络学习能力&＃xff0c;同时在处理速度和内存方面提升不少。

介绍Faster R-CNN 和 Cascade R-CNN

Faster R-CNN是anchor-based和two-stage类型检测器&＃xff0c;分为四个部分

• backbone特征提取&＃xff0c;然后RPN层通过softmax判断anchors属于positive或者negative&＃xff0c;再利用边框回归修正anchors获得精确的候选区域
• RPN生成了大量的候选区域&＃xff0c;这些候选区域和feature maps一起送入ROI pooling&＃xff0c;得到候选特征区域&＃xff0c;最后送入分类和边框回归&＃xff0c;得到最终的预测结果

Cascade R-CNN 在Faster R-CNN上改进&＃xff0c;通过级联几个检测网络达到不断优化预测结果的目的&＃xff0c;与普通级联不同&＃xff0c;Cascade R-CNN的几个检测网络是基于不同IOU阈值确定的正负样本上训练得到的。简单的来说cascade R-CNN是由一系列检测模型组成&＃xff0c;每个检测模型都基于不同IOU阈值的正负样本训练得到&＃xff0c;前一个检测模型的输出作为后一个检测模型的输入&＃xff0c;因此是stage by stage的训练方式&＃xff0c;而且越往后的检测模型&＃xff0c;界定正负样本的IOU阈值是不断上升的。

线性回归为什么要使用mse作为损失函数&＃xff1f;

在使用线性回归的时候&＃xff0c;基本假设是噪声服从正态分布&＃xff0c;当噪声符合正态分布时&＃xff0c;因变量则符合正态分布&＃xff0c;因此使用mse的时候实际上是假设y服从正态分布。

优化算法&＃xff1a;

1. 基本梯度下降法&＃xff0c;包括SGD等
2. 动量优化法&＃xff0c;包括momentum&＃xff0c;NAG等
3. 自适应学习率优化法&＃xff0c;包括Adam、AdaGrad、RMSProp等

上采样的原理和常用方式&＃xff1a;

在CNN中&＃xff0c;由于输入图片通过CNN提取特征后&＃xff0c;输出尺寸往往会变小&＃xff0c;而有时我们需要将图像恢复到原来的尺寸以便进一步计算&＃xff08;图像分割&＃xff09;&＃xff0c;小分辨率到大分辨率操作为上采样。

• 插值&＃xff0c;一般使用双线性插值&＃xff0c;效果最好&＃xff08;计算复杂&＃xff09;&＃xff0c;但与卷积计算比较&＃xff0c;计算量不值得一提
• 转置卷积&＃xff0c;通过对输入feature map间隔填充0&＃xff0c; 再进行标准卷积计算&＃xff0c;可以使得输出feature map尺寸比输出更大
• Max unpooling&＃xff0c;在对称max pooling位置记录最大值索引值&＃xff0c;然后将值填回去&＃xff0c;其余位置补0

参数量和FLOPs计算

参数量&＃xff1a;

FLOPs&＃xff1a;

CNN中add和concat操作&＃xff1a;

add和concat分支操作统称为shortcut&＃xff0c;add是在ResNet中提出的&＃xff0c;增加信息的表达。concat操作是Inception首次使用&＃xff0c;被DenseNet发扬光大&＃xff0c;保留了一些原始的特征&＃xff0c;增加特征的数量&＃xff0c;使得有效信息流继续向后传递。

为什么神经网络常用relu作为激活函数

• 计算量小、避免梯度消失
• Relu 可使部分神经元输出为0&＃xff0c;造成网络稀疏性&＃xff0c;减少前后层参数对当前层参数的影响&＃xff0c;提升模型的泛化性能

BN为什么要重构

恢复出原始的某一层所学到的特征&＃xff0c;因此引入了λ和β&＃xff0c;让我们网络可以学习恢复出原始网络所要学习的特征分布。比如数据分布不平衡。

BN训练和测试时的区别

• 训练阶段&＃xff1a;首先计算均值和方差&＃xff08;每次训练给一个批次&＃xff0c;计算批次的均值和方差&＃xff09;&＃xff0c;然后归一化&＃xff0c;然后缩放和平移
• 测试阶段&＃xff1a;每次只输入一张图片&＃xff0c;无法计算批量均值和方差。在训练的时候实现计算好running_mean、running_var&＃xff0c;测试的时候直接拿来用就可以&＃xff0c;不需要计算均值和方差。

Inception V1 - V4的区别、改进

V1&＃xff1a;googlenet某些大卷积核换成小卷积

V2&＃xff1a;输入的时候加入BN&＃xff0c;训练起来收敛更快&＃xff0c;可以减少dropout的使用

V3&＃xff1a;GoogleNet里面一些7x7的卷积变成 1x7和7x1两层串联&＃xff0c;同理3x3。这样加速了计算&＃xff0c;增加网络的非线性、减少过拟合的概率。

V4&＃xff1a;原来的inception加上resnet的方法

分类任务中为什么交叉熵损失函数比均方误差损失函数更常用&＃xff1f;

交叉熵损失函数关于输入权重的梯度表达式不含激活函数梯度&＃xff0c;而均方误差损失函数中存在激活函数的梯度(预测值接近1或0&＃xff0c;会导致其梯度接近0)&＃xff0c;由于常用的sigmoid/tanh存在梯度饱和区&＃xff0c;使得MSE对权重的梯度很小。

泛化误差&＃xff08;过拟合&＃xff09;

泛化误差 &＃61; 方差 &＃43; 偏差 &＃43; 噪声

1. 噪声是模型训练的上限&＃xff0c;也可以说是误差的下限&＃xff0c;噪声无法避免
2. 方差表示不同样本下模型预测的稳定程度&＃xff08;方差越大其实就是过拟合&＃xff0c;预测不稳定&＃xff09;
3. 偏差表示模型对训练数据的拟合程度&＃xff08;偏差大就是欠拟合&＃xff0c;预测效果不好&＃xff09;

降低方差&＃xff08;过拟合&＃xff09;的方法&＃xff1a;

数据&＃xff1a;

1. 增大数据量、进行数据增强
2. 进行数据清洗、进行特征选择降低特征维度
3. 类别平衡

网络结构&＃xff1a;

1. 正则化L1、L2、BN

2. dropout

宏观&＃xff1a;

1. 选择合适复杂度的模型&＃xff0c;或对现有模型进行剪枝
2. 标签平滑
3. earlystopping
4. 增大学习率
5. 通过交叉验证

降低偏差&＃xff08;欠拟合&＃xff09;的方法&＃xff1a;

网络中间&＃xff1a;

1. 删除或削弱已有的正则化约束

宏观&＃xff1a;

1. 增加模型复杂度
2. 集成学习
3. 增加epoch次数

dropout为什么可以减轻过拟合&＃xff1f;

1. ensemble效果&＃xff1a;训练过程中每次随机关闭不同的神经元&＃xff0c;网络结构已经发生改变&＃xff0c;整个dropout的训练过程就相等于很多个不同的网络取平均&＃xff0c;进而达到ensemble效果
2. 减少神经元之间复杂的共适应关系&＃xff1a;dropout导致每两个神经元不一定每一次都在网络中出现&＃xff0c;减轻了神经元之间的依赖关系。阻止了某些特征仅仅在其他特定特征下才有效果的情况&＃xff0c;从而迫使网络无法关注特殊情况&＃xff0c;而只能去学习一些更加鲁棒的特征。

KMeans

算法的具体步骤描述&＃xff1a;

1. 选取数据空间中的K个对象作为初始中心&＃xff0c;每个对象代表一个聚类中心
2. 遍历所有数据&＃xff0c;将每个数据划分到最近的中心点
3. 计算每个聚类的平均值&＃xff0c;并作为新的中心点
4. 重复2-3&＃xff0c;直到k个中心点不再变化

优点&＃xff1a;

1. 原理简单&＃xff0c;实现容易&＃xff0c;收敛速度快
2. 算法的可解释性强
3. 主要调参的参数仅仅是k

缺点&＃xff1a;

1. k的选取不好把握
2. 初始化的簇中心敏感&＃xff0c;不同选取方式会得到不同的结果
3. 如果数据类型不平衡&＃xff0c;比如数据量严重失衡或者类别方差不同&＃xff0c;则聚类效果不佳
4. 采用迭代的方法&＃xff0c;只能得到局部最优解
5. 对噪音和异常点比较敏感

Focal loss

one-stage算法正负样本严重不均衡&＃xff0c;two-stage算法利用RPN网络&＃xff0c;将正负样本控制在1&＃xff1a;3左右

原理&＃xff1a;

1. 解决正负样本不均衡问题&＃xff1a;添加权重控制&＃xff0c;增大少数类样本权重

2. 解决难易样本问题&＃xff1a;Pt越大说明该样本易区分&＃xff0c;应当降低容易区分样本的权重。就是说希望增加一个系数&＃xff0c;概率越大的样本&＃xff0c;权重系数越小。另外&＃xff0c;为了提高可控性&＃xff0c;引入系数λ

​ 综合&＃xff1a;两个参数α和λ协调来控制&＃xff0c; 本文作者采用α&＃61;0.25&＃xff0c;λ&＃61;2 效果最好

正则化

原理&＃xff1a;在损失函数上加上某些规则&＃xff08;限制&＃xff09;&＃xff0c;缩小解空间&＃xff0c;从而减少求出过拟合解的可能性

常用的正则化手段&＃xff1a;

1. 数据增强
2. 使用L范数约束
3. dropout
4. early stopping
5. 对抗训练

softmax和sigmoid在多分类任务中的优劣

多个sigmoid与一个softmax都可以进行多分类&＃xff0c;如果多个类别之间是互斥&＃xff0c;就应该使用softmax&＃xff0c;即这个东西只可能是几个类别中的一种。如果多个类别之间不是互斥的&＃xff0c;使用多个sigmoid。

pooling如何反向传播

max pooling&＃xff1a;下一层的梯度会原封不动地传到上一层最大值所在位置的神经元&＃xff0c;其他梯度为0

average pooling&＃xff1a;下一层的梯度会平均地分配到上一层的对应相连区块的所有神经元

pooling作用&＃xff1a;

1. 增大感受野 2. 平移不变性 3. 降低优化难度

   缺点&＃xff1a;造成梯度稀疏&＃xff0c;丢失信息

AuC&＃xff0c;RoC&＃xff0c;mAP&＃xff0c;Recall&＃xff0c;precision&＃xff0c;F1-score

Recall &＃61; R&＃61;TP/(TP&＃43;FN) Precision&＃xff1a;P&＃61;TP/(TP&＃43;FP)

ROC&＃xff1a;常用于评价二分类的优劣

AUC&＃xff1a;被定义为ROC曲线下的面积&＃xff0c;取值范围0.5到1之间 AUC计算公式&＃xff1a;https://blog.csdn.net/ustbbsy/article/details/107025087

F1-score&＃xff1a;又称调和平均数&＃xff0c;precision和recall是相互矛盾的&＃xff0c;当recall越大时&＃xff0c;框就越多&＃xff0c;导致precision就会越小&＃xff0c;反之亦然。通常使用F1-score来调和precision和recall&＃xff0c;F1 score结果取决于precision和recall。

pytorch多GPU训练机制的原理

pytorch的多GPU处理api&＃xff1a;torch.nn.DataParallel(module, device_ids)&＃xff0c;其中module是要执行的模型&＃xff0c;而device_ids则是指定并行GPU id 列表

并行处理机制是&＃xff0c;首先将模型加载到主GPU上&＃xff0c;然后再将模型复制到各个指定的从GPU中&＃xff0c;然后输入数据按照batch维度进行划分&＃xff0c;每个GPU分配到的数据为batch/gpu个数。每个GPU将针对各自的输入数据独立进行训练&＃xff0c;最后将各个GPU的loss进行求和&＃xff0c;再用反向传播更新单个GPU上的模型参数&＃xff0c;再将更新后的模型参数复制到剩余指定的GPU中&＃xff0c;这样就完成了一次迭代计算。

偏差和方差

模型误差 &＃61; 方差&＃43; 偏差&＃43;不可避免的误差

偏差&＃xff1a;预测值和真实值之间的差距。偏差越大&＃xff0c;越偏离真实数据

方差&＃xff1a;描述的是预测值的变化范围&＃xff0c;离散程度。方差越大&＃xff0c;数据分布越分散。

KL散度

KL散度也叫相对熵&＃xff0c;用于度量两个概率分布之间的差异程度。

KL散度又叫相对熵&＃xff0c; KL散度 &＃61; 信息熵 - 交叉熵

不同层次的卷积都提取什么类型的特征&＃xff1f;

1. 浅层卷积提取 边缘特征
2. 中间层卷积提取局部特征
3. 深层卷积提取全局特征

BN层面试高频问题

1.BN解决了什么问题&＃xff1f;

神经网络在做非线性变换前的激活输入值随着网络深度加深&＃xff0c;其分布逐渐发生偏移&＃xff08;內部协变量偏移&＃xff09;。之所以训练收敛慢&＃xff0c;一般是整体分布逐渐往非线性函数的区间两端靠近&＃xff0c;导致反向传播底层网络训练梯度消失。BN就是通过一定的正则化手段&＃xff0c;每层神经网络任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布。

2. BN公式

其中γ和β分别是缩放因子和偏移量&＃xff0c;因为减去均值除以方差未必是最好的分布。所以要加入两个可学习变量来完善数据分布以达到比较好的效果。

3. BN层训练和测试的不同

训练阶段&＃xff1a;BN层对每个batch的训练数据进行标准化&＃xff0c;即用每一批数据的均值和方差

测试阶段&＃xff1a;只输入单个测试样本&＃xff0c;因此这个时候用的均值和方差是整个数据集训练后的均值和方差&＃xff0c;可以通过滑动平均法求得。简单来说&＃xff0c;均值就是直接计算所有batch 均值的平均值&＃xff0c;然后对于标准偏差采用每个batch方差的无偏估计。

4. BN训练时为什么不用整个训练集的均值和方差&＃xff1f;

因为用整个数据集的均值和方差容易过拟合&＃xff0c;对于BN&＃xff0c;其实就是对每一batch数据标准化到一个相同的分布&＃xff0c;而不同的batch数据均值和方差会有一定的差异&＃xff0c;这个差异能够增加模型的鲁棒性&＃xff0c;也会在一定程度上减少过拟合。

6.BN的参数量

γ和β是需要学习的参数&＃xff0c;在CNN中&＃xff0c;某一层的batch大小为M&＃xff0c;那么做BN的参数量为M*2

7. BN的优缺点&＃xff1a;

优点&＃xff1a;

1. 可以选择较大的初始学习率&＃xff0c;因为每一层的分布都固定的&＃xff0c;不会有底层很难train的现象
2. 可以不用dropout&＃xff0c;L2正则化&＃xff1a;BN的使用使得一个mini-batch中的所有样本都被关联在了一起&＃xff0c;因此网络不会某一个训练样本中生成确定的结果
3. 可以把数据集彻底打乱
4. 模型更加健壮
5. 模型训练起来更快&＃xff0c;减少了梯度消失
6. 降低参数初始化敏感

缺点&＃xff1a;

1. BN非常依赖Batch的大小&＃xff0c;当batch值很小的时候&＃xff0c;计算的均值和方差不稳定
2. 待更新1&＃xff01;&＃xff01;&＃xff01;

NMS流程

1. 先设置两个值&＃xff1a;一个score的阈值、一个IOU的阈值
2. 过滤掉小于score阈值的候选框&＃xff0c;并根据类别分类概率进行排序&＃xff1a;A
3. 先标记最⼤概率矩形框F是我们要保留下来的候选
4. 接下来分别判断A~E与F的IOU是否大于IOU阈值&＃xff0c;假设B、D与F的重叠度超过IOU阈值&＃xff0c;那么就去除B、D
5. 从剩下的A、C、E中&＃xff0c;选择概率最大的E&＃xff0c;标记为要保存的候选框&＃xff0c;然后判断E与A、C的重叠度&＃xff0c;去除重叠度超过设定阈值的框
6. 重复3~5&＃xff0c;直到没有矩形框剩下。