深度学习_深度学习基础知识_最小二乘损失和最小均方误差损失（L2损失）的区别

首先&＃xff0c;最小二乘法适用于有限样本。

而最小均方误差适用于无限样本。

通常我们所说的狭义的最小二乘&＃xff0c;是指在线性回归下采用最下二乘准则&＃xff0c;进行线性拟合参数求解。

由于是基于线性回归&＃xff0c;所以可以很容器求出全局最优解&＃xff0c;而不是像梯度下降那样一点点的迭代优化最后达到极值点。

而广义的最小二乘&＃xff0c;本质上是一种目标函数。比如说我们在优化深度神经网络模型时&＃xff0c;也可以用最小二乘去衡量某一拟合结果相对于ground truth的偏差程度。但是深度神经网络模型本省很复杂&＃xff0c;我们没办法像线性拟合时那样&＃xff0c;求出全局最优解&＃xff0c;所以引入BP算法进行梯度下降迭代&＃xff0c;最终到达局部最优。

而广义的最小二乘&＃43;BP就是在无限样本下的最小均方误差损失。