python机器学习MATLAB最小二乘法的两种解读

目录

• 最小二乘法
• 代价函数与最小二乘法
• 向量到子空间的距离与最小二乘法
• 最小二乘法与多项式拟合
• 多项式拟合结果绘图：
• 最小二乘法与多元线性回归
• 多元线性回归结果绘图：

% 最小二乘法多项式拟合
% 原三次函数+随机噪声
f=@(x)x.^3+6.*x.^2-2.*x+4+(rand(size(x))-.5).*20;
% 构造原始数据
x=-5:.1:5;
y=f(x);
% 自己写一个最小二乘
n=3;% 最高次数为三次
X=(x").^(n:-1:0);
theta1=((X"*X)X"*y")";
% MATLAB自带多项式拟合
theta2=polyfit(x,y,n);
% 输出对比
disp(theta1)
disp(theta2)
% 一个小技巧，下面的写法能够快速将
% 参数向量变成有关x的多项式匿名函数
func=matlabFunction(poly2sym(theta1));

% 绘图部分
% 保持坐标区域不刷新并添加网格
ax=gca;hold(ax,"on");grid(ax,"on");
% 绘制原数据点和拟合结果
plot(x,y,"o","MarkerFaceColor",[94,142,179]./255);
plot(x,func(x),"Color",[0,64,115]./255,"LineWidth",2);
% 修饰一下
ax.FOntName="cambria";
ax.LineWidth=1.5;
ax.GridLine;
ax.XColor=[1,1,1].*.3;
ax.YColor=[1,1,1].*.3;
ax.ZColor=[1,1,1].*.3;

% 最小二乘法多元线性回归
% 原二元函数+随机噪声
f=@(x1,x2) 3.*x1+4.*x2+5+(rand(size(x1))-.5).*10;
% 构造原始数据
[x1,x2]=meshgrid(-5:.5:5,-5:.5:5);
y=f(x1,x2);
% 自己写一个最小二乘
X=[x1(:),x2(:),ones(size(x1(:)))];
theta1=((X"*X)X"*y(:));
% MATLAB多元线性回归
theta2=regress(y(:),X);
% 输出对比
disp(theta1)
disp(theta2)
% 构造拟合结果的二元匿名函数
func=matlabFunction([sym("x1"),sym("x2"),1]*theta1);

% 绘图部分
% 保持坐标区域不刷新并添加网格
ax=gca;hold(ax,"on");grid(ax,"on");
% 绘制原数据点和拟合结果
mesh(x1,x2,func(x1,x2),"FaceColor","flat","FaceAlpha",.8)
scatter3(x1(:),x2(:),y(:),20,"filled")
% 修饰一下
ax.FOntName="cambria";
ax.LineWidth=1.5;
ax.GridLine;
ax.XColor=[1,1,1].*.3;
ax.YColor=[1,1,1].*.3;
ax.ZColor=[1,1,1].*.3;
view(30,20)