深度学习理论解析与理解

1. 梯度方向指示函数值增大的方向，具体是由各个坐标轴方向上的偏导数合成的方向，其大小代表函数值变化的速度。

2. 导数是一个广泛的概念，偏导数是沿着某一特定方向上的导数，而梯度则是所有方向上偏导数的向量形式。

3. Softmax函数之所以得名，是因为它将较大的数值压缩为相对更大的数值，较小的数值则被压缩到一个密集的空间中。这种效应类似于金字塔现象：即使能力略胜一筹，所获得的收益也可能远超他人。

4. 在卷积神经网络（CNN）中，卷积计算并不是严格意义上的数学卷积。真正的数学卷积具有交换性，因为核在输入上进行了翻转。如果训练时使用翻转的卷积核，则测试时也必须使用翻转的卷积核，否则会导致不一致的结果。

5. 卷积层的稀疏交互特性使得同一层的单元间交互较少，相比于全连接层（FC），卷积层的滤波器尺寸远小于输入特征图的尺寸，导致感受野较为稀疏，即有效特征信息较少。

6. 卷积权值共享是指在整个滑动过程中，同一滤波器的权重保持不变，这有助于减少参数数量并提高模型的泛化能力。

7. 随着CNN网络的加深，输入特征图的宽度和高度逐渐减小，通道数（C）逐渐增加。最终通过Flatten操作后，通过全连接层实现分类任务的概率映射。

8. Pooling操作具备一定的平移不变性，基于假设：对输入进行“少量”平移后，经过池化后的大多数输出不会发生显著变化。这一性质与滤波器尺寸（filter size）、步幅（stride）等因素密切相关。