matlabpca求曲率和法向量_从优化的角度看PCA降维的原理

&＃xff0c;则拉格朗日乘子矩阵

此时为对角矩阵 &＃xff0c; 另新的拉格朗日乘子矩阵为

1.7

对1.7式求W的偏导数&＃xff0c;在导数为0处取极值&＃xff1a;

由矩阵微分公式

&＃xff1a;

1.8

从1.8式根据特征向量的定义可知&＃xff0c;

分别表示由协方差矩阵

的特征值和特征向量&＃xff0c;特征值越大&＃xff0c;数据在其对应额特征向量的方向上所包含的信息越丰富。

显然&＃xff0c;此时只需要令

和

分别为 协方差

的前

个最大的特征值和单位特征向量就能使得目标函数达到最优值。

二、最大可分性

从最大可分性出发&＃xff0c;能得到PCA的另一种解释。样本点

在新空间中超平面上的投影是

&＃xff0c;若所有样本点的投影能尽可能分开&＃xff0c;则应该使投影后样本点的方差最大化&＃xff1a;

投影后样本点的方差是

&＃xff0c;优化目标可以转化为矩阵的迹&＃xff1a;

后面的求解构成与第一种的最近重构性一致。

PCA的算法步骤&＃xff1a;
输入&＃xff1a;n维空间的样本集合其中&＃xff1b;映射到k维空间
1、归一化&＃xff0c;将X中样本变换为标准正态分布

&＃xff1a;

1.1

1.2

2、计算协方差矩阵

3、对协方差矩阵

进行特征分解

4、求取最大的k个特征值以及对应的特征向量&＃xff0c;依次记录为

输出&＃xff0c;其中

三、PCA的应用

&＃xff08;一&＃xff09;、数据降维。数据降维是处理高维度数据的基础。使用PCA降维有什么意义&＃xff1f;

1. 数据在低维下更容易进行处理与使用&＃xff0c;算法的开销也将大大减少&＃xff0c;比如在研究高维度数据分群中&＃xff0c;使用无监督聚类的距离公式计算相似度不准确且开销大&＃xff1b;
2. 相关特征&＃xff0c;重要特征通过降维能在数据中显现出来&＃xff1b;同时&＃xff0c;降至2维或3维也能进行可视化&＃xff1b;
3. 去除数据噪声&＃xff0c;当数据受到噪声影响时&＃xff0c;最小的特征值所对应的特征向量往往与噪声有关&＃xff0c;将它们舍弃能再一定程度上起到去噪的作用。

&＃xff08;二&＃xff09;、人脸识别与手写数字识别。PCA在这方面的应用这几年随着深度学习技术的发展&＃xff0c;而不断弱化。这里可以看下相关的blog文章&＃xff0c;以人脸识别为例&＃xff0c;计算人脸图像库中的“平均脸”并提取前K为特征向量&＃xff0c;用于做映射矩阵。最终就是计算残差的大小&＃xff0c;来判断人脸。残差公式就是上面的1.1式

手写数字识别的例子没有找到&＃xff0c;可以参考下PRML的截图&＃xff1a;