线性回归模型及其损失函数详解

假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。
收集的数据中&＃xff0c;每一个分量&＃xff0c;就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数&＃xff0c;向量表示形式&＃xff1a;

这个就是一个组合问题&＃xff0c;已知一些数据&＃xff0c;如何求里面的未知参数&＃xff0c;给出一个最优解。 一个线性矩阵方程&＃xff0c;直接求解&＃xff0c;很可能无法直接求解。有唯一解的数据集&＃xff0c;微乎其微。

基本上都是解不存在的超定方程组。因此&＃xff0c;需要退一步&＃xff0c;将参数求解问题&＃xff0c;转化为求最小误差问题&＃xff0c;求出一个最接近的解&＃xff0c;这就是一个松弛求解。

求一个最接近解&＃xff0c;直观上&＃xff0c;就能想到&＃xff0c;误差最小的表达形式。仍然是一个含未知参数的线性模型&＃xff0c;一堆观测数据&＃xff0c;其模型与数据的误差最小的形式&＃xff0c;模型与数据差的平方和最小&＃xff1a;

这就是损失函数的来源。接下来&＃xff0c;就是求解这个函数的方法&＃xff0c;有最小二乘法&＃xff0c;梯度下降法。

最小二乘法

是一个直接的数学求解公式&＃xff0c;不过它要求X是列满秩的&＃xff0c;

梯度下降法

分别有梯度下降法&＃xff0c;批梯度下降法&＃xff0c;增量梯度下降。本质上&＃xff0c;都是偏导数&＃xff0c;步长/最佳学习率&＃xff0c;更新&＃xff0c;收敛的问题。这个算法只是最优化原理中的一个普通的方法&＃xff0c;可以结合最优化原理来学&＃xff0c;就容易理解了。