cs231n笔记总结

cs231n的课程以及作业都完成的差不多了&＃xff0c;后续的课程更多的涉及到卷积神经网络的各个子方向了&＃xff0c;比如语义分割、目标检测、定位、可视化、迁移学习、模型压缩等等。assignment3有涉及到这些中的一部分&＃xff0c;但需要深入了解的话还是得看论文了。所以在看论文前把之前已学的知识&＃xff0c;笔记和作业代码一起做个整理。
博客里主要是自己在这个过程中做的笔记&＃xff0c;其中很多直接贴的知乎上的翻译版note&＃xff0c;作业放在github上https://github.com/PanXiebit/cs231n.git

01.Python Numpy Tutorial

• dict中元素的访问
• lambda\ reduce\enumerate的使用
• element wise\dot()\multiply的区别
• broadcasting　广播机制&＃xff0c;这个很重要
• scipy 科学计算库&＃xff0c;这里主要用到的是图像处理
• matplotlib

02.线性分类器

• 线性分类器的原理及解释
• 两种损失函数SVM和softmax
• 范式正则化

03.最优化&＃xff0d;求梯度

• 损失函数可视化
• 有限插值法求梯度
• 微分法求梯度:以softmax为例进行了推导

04.logistic回归以及反向传播

05.神经网络的结构

• 神经网络的生物理解
• 常用激活函数sigmoid\relu\tanh
• 神经网络层数越多越好吗&＃xff1f;
• 神经网络层数以及神经元的个数

06.训练一个神经网络&＃xff11;
batch_size\iteration\epoch区别

07.训练一个神经网络2

• 数据预处理
  
  • 归一化、降维
• 权重参数初始化
• 批量归一化 Batch Normalization
• 正则化
  
  • L1,L2正则化
  • Dropout和反向Dropout
• 属性分类&＃xff1a;一个样本有多个标签
• 偏差和方差

08.训练一个神经网络&＃xff13;&＃xff0d;优化算法optimal

• sgd
• momentum
• RMSprop
• Adam
• 学习率衰减
• 局部最优化local optimal(貌似最近在微信上看到一篇文章将怎么避开鞍点的)

09.训练神经网络&＃xff14;&＃xff0d;超参数调试

• 超参数调试技巧
• Batch Normalizaton再解析

10.训练神经网络&＃xff15;&＃xff0d;小技巧

-　狠狠狠重要&＃xff0c;狠狠狠玄学

11.卷积神经网络

• 卷积层
• 卷积层为啥好&＃xff1a;参数共享、稀疏连接
• 参数计算
• padding
• 1x1 convolution
• pooling
• 全连接层和卷积层的转换
• Cpython加速

12.检测、定位、分割

13.可视化及可解释性