LDA

PCA

参考&＃xff1a;http://blog.codinglabs.org/articles/pca-tutorial.html
假设我们只有a和b两个字段&＃xff0c;那么我们将它们按行组成矩阵XX：

X=(a1a2&＃x22EF;amb1b2&＃x22EF;bm)" role="presentation">X=(a1b1a2b2⋯⋯ambm)$$X=\left(\begin{array}{cccc}{a}_1& a_2& \cdots & a_m\\ b_1& b_2& \cdots & b_m\end{array}\right)$$

然后我们用XX乘以X" role="presentation" >X$X$的转置&＃xff0c;并乘上系数1/m1/m&＃xff1a;

1mXXT&＃61;(1m∑mi&＃61;1a2i1m∑mi&＃61;1aibi1m∑mi&＃61;1aibi1m∑mi&＃61;1b2i)1mXXT&＃61;(1m∑i&＃61;1mai21m∑i&＃61;1maibi1m∑i&＃61;1maibi1m∑i&＃61;1mbi2)

设我们有

mm个n" role="presentation" >n$n$维数据记录&＃xff0c;将其按列排成

nn乘m" role="presentation" >m$m$的矩阵

XX，设C=C=1mXXT$C=\frac{1}{m}X{X}^T$&＃xff0c;则

CC是一个对称矩阵，其对角线分别个各个字段的方差，而第i行j列和j行i列元素相同，表示i和j两个字段的协方差。

协方差矩阵对角化

设原始数据矩阵X" role="presentation" >X$X$对应的协方差矩阵为

CC，而P" role="presentation" >P$P$是一组基按行组成的矩阵&＃xff0c;设

Y&＃61;PXY&＃61;PX&＃xff0c;则

YY为X" role="presentation" >X$X$对

PP做基变换后的数据。设Y" role="presentation" >Y$Y$的协方差矩阵为

DD，我们推导一下D" role="presentation" >D$D$与

CC的关系：

1&＃xff09;实对称矩阵不同特征值对应的特征向量必然正交。

2&＃xff09;设特征向量λ重数为r&＃xff0c;则必然存在r个线性无关的特征向量对应于λ&＃xff0c;因此可以将这r个特征向量单位正交化。
由上面两条可知&＃xff0c;一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量&＃xff0c;设这n个特征向量为e1,e2,⋯,ene1,e2,⋯,en&＃xff0c;我们将其按列组成矩阵&＃xff1a;

PCA算法

总结一下PCA的算法步骤&＃xff1a;

设有m条n维数据。

1&＃xff09;将原始数据按列组成n行m列矩阵X

2&＃xff09;将X的每一行&＃xff08;代表一个属性字段&＃xff09;进行零均值化&＃xff0c;即减去这一行的均值

3&＃xff09;求出协方差矩阵C&＃61;1mXXT
4&＃xff09;求出协方差矩阵的特征值及对应的特征向量

5&＃xff09;将特征向量按对应特征值大小从上到下按行排列成矩阵&＃xff0c;取前k行组成矩阵P

6&＃xff09;Y&＃61;PX即为降维到k维后的数据
LDALDA用于降维&＃xff0c;和PCAPCA有很多相同&＃xff0c;也有很多不同的地方&＃xff0c;因此值得好好的比较一下两者的降维异同点。

　　　　首先我们看看相同点&＃xff1a;

　　　　1&＃xff09;两者均可以对数据进行降维。

　　　　2&＃xff09;两者在降维时均使用了矩阵特征分解的思想。

　　　　3&＃xff09;两者都假设数据符合高斯分布。

　　　　我们接着看看不同点&＃xff1a;

　　　　1&＃xff09;LDALDA是有监督的降维方法&＃xff0c;而PCAPCA是无监督的降维方法

　　　　2&＃xff09;LDALDA降维最多降到类别数k−1k−1的维数&＃xff0c;而PCAPCA没有这个限制。

　　　　3&＃xff09;LDALDA除了可以用于降维&＃xff0c;还可以用于分类。

　　　　4&＃xff09;LDALDA选择分类性能最好的投影方向&＃xff0c;而PCAPCA选择样本点投影具有最大方差的方向。