最小二乘_最小二乘原理

以双变量总体回归函数为例&＃xff1a;

受物力财力等因素限制&＃xff0c;很多时候我们难以搜集总体信息&＃xff0c;故常使用样本来近似估计总体。

因此&＃xff0c;我们用下面的样本回归函数&＃xff08;SRF&＃xff09;来近似估计总体回归函数&＃xff08;PRF&＃xff09;。

因而&＃xff0c;

不难理解&＃xff0c;估计总体回归函数最好的方法就是选择B1、B2的估计量b1、b2&＃xff0c;使残差尽可能小。

而普通最小二乘就是要选择参数b1、b2&＃xff0c;使得残差平方和最小。

这里用平方和是因为相比于绝对值&＃xff0c;目标函数&＃xff08;残差平方和最小&＃xff09;是连续可求导的。

R代码&＃xff08;lm&＃xff09;生成的回归模型中&＃xff0c;对参数的估计默认就是使用该方法&＃xff0c;具体的实例将在【R与统计】专栏的回归一章中细讲。

只有当Gauss-Markov假设条件成立时&＃xff0c;使用最小二乘法估计的参数才具有优良的性质。

• 假定1. 线性于参数
• 假定2. 随机抽样
• 假定3. 不存在完全共线性
• 假定4.零条件均值
• 假定5. 同方差

参数估计量的性质

线性型

无偏性&＃xff08;假定1-4&＃xff09;

最优性&＃xff08;&＃43; 假定5&＃xff09;
在所有关于模型参数真值的无偏估计量中&＃xff0c;若某个估计量具有最小方差&＃xff0c;则称该估计量为该模型参数真值的最优线性无偏估计量。

参考书目

《经济计量学精要.第4版》
《应用回归分析》