法向量点云pca_PCA的四种推导方法

PCA

总述

我们假设把原数据中心化处理之后为

&＃xff0c;总共有m个样本&＃xff0c;每个样本有n个特征。每一个样本为

, 中心化后的数据&＃xff0c;均值为

&＃xff0c;协方差矩阵为

PCA(principle component analysis) 是一种降低数据维度的方法。接下来我分别用四种方法来推导一下&＃xff08;方法之间相互等价&＃xff09;。

最大方差法

我们通过方差来度量数据内的信息量&＃xff0c;我们可以看到&＃xff0c;如果将数据投影到某个方向&＃xff0c;比如方向1&＃xff0c;或者方向2&＃xff0c;当投影后的数据尽可能分散的时候&＃xff0c;也就是方差尽可能大的时候&＃xff0c;保留的信息量是最大的&＃xff0c;因此方向1是更好的。

于是&＃xff0c;我们的问题就变成了&＃xff1a;在多维空间下&＃xff0c;如何选择一个最优的方向&＃xff0c;来让投影之后的数据保留最多的信息量。于是我们假设这个方向的单位方向向量是

&＃xff0c;在多维空间下投影之后的数据为

所以方差变为

于是我们求解的最优化的问题就是&＃xff0c;如何使

利用拉格朗日乘子法求得

因此

就是S的特征值&＃xff0c;而

就是对应的特征向量&＃xff0c;

就是主成分。

最小距离法

还是上图的例子&＃xff0c;我们希望找到一个方向&＃xff0c;让点到投影点的距离最小&＃xff0c;损失的信息最少。所以还是方向1更好一些&＃xff0c;于是问题变成了

所以等价于

所以和上述方法其实是等价的。

最小协方差法&＃xff08;kl变换&＃xff09;

在通过坐标变换之后&＃xff0c;即对原始数据进行线性变换后&＃xff0c;尽量使得变换后的协方差矩阵

对角化&＃xff08;即使得除矩阵D对角线外的元素都为0&＃xff09;。这样根据协方差矩阵的性质&＃xff0c;可以使得变化后&＃xff0c;不同特征之间的相关系数最小&＃xff0c;尽量不相关。

而这时我们会发现变换后的对角矩阵D对角线其实是S的特征值&＃xff08;根据线性代数的知识&＃xff09;&＃xff0c;而P则是由对应的特征向量组成。于是就需要我们对S进行特征值分解

或者对X进行SVD&＃xff08;也可以使S对角化&＃xff09;

基于线性回归的思想

考虑线性回归模型

我们考虑对X做一个变换&＃xff0c;假设

是

的特征值&＃xff0c;

是对应的标准正交化特征向量&＃xff0c;我们设

模型就会变为

我们就可以发现

, 每一个特征值

都对应第i个主成分的方差是多少&＃xff0c;即在0左右的变动有多少。所以当一些特征之间存在一些线性关系的时候&＃xff0c;

就会有一些很小的特征值。在这种情况下&＃xff0c;我们如果舍去后几个主成分的话&＃xff0c;误差也不会太大。

而且在一定条件下&＃xff0c;这种方法可能会比普通的最小二乘估计的均方误差更小。

&＃xff08;其实这种方法就是应用最大方差法结论反推&＃xff0c;然后从代数方法解释了一下。&＃xff09;

。。。就随便写写&＃xff0c;之后继续完善吧。。。