欢迎批评指正!
主成分分析(principal component analysis,PCA)
一。几何的角度理解PCA -- 举例:将原来的三维空间投影到方差最大且线性无关的两个方向(二维空间)。
二。数学推导的角度为 -- 将原矩阵进行单位正交基变换。
且听我慢慢展开。
关于第一句话,给个图直观理解,请问,下面的三维空间中的一条鱼,在二维平面时怎么能更直观的看出,这是一条鱼?
很明显,第一种情况更直观,为什么呢?
这就是将原矩阵(三维空间)投影到了信息量最大的两个维度上(二维平面),这就是PCA所做的事情,降维
参考https://www.bilibili.com/medialist/play/ml304203591
https://www.matongxue.com/madocs/228/
关于第二句话,从数学的角度解释,一句话,原矩阵进行单位正交基变化。
首先。什么是基变化
举例
三维空间中的四个点(矩阵B),左乘一个矩阵A,没有发生任何变化,因为该矩阵就是B的基,如果A发生变化,对应的乘积也发生变化。
第二,为什么要正交单位基,单位基很好理解了,就是为了计算的方便,正交的目的是为了PCA降维之后,我们希望能对各个主成分进行合理解释,如果非正交的话,各主成分之间相关性很高,结果难已解释。
下面到了最重要的一点,如何找鸡?不对不对,找基!
当我们遇到这样的(左面)的数据时,我们很难去选择将数据投影到X1或者X2,因为两个基上的数据信息量差别不大,我们希望找到像Y1,Y2这样的基,这时的取舍就很明确了。
首先,我们将数据中心化
疑问(问什么要中心化)
因为标准化之后X的相关矩阵等于协方差阵,证明(忽视角标0_0),注意此处的Y与下文的Y无关
因为在之前X坐标系下,X1与X2存在很大的相关性,所义无法很好的选择一个维度来投影,但是在Y坐标系下,Y1,Y2之间相关性很小,投影方向很明确。
问题转化为Y = PX,
那么我们希望得到的是一个除去对角线上元素为1之外的其他元素均为零的矩阵。
第三步为谱分解,她有很好的性质,如,Q为X的特征向量组,为单位正交矩阵,D为对角线元素为X特征值的对角线矩阵
对于第④步的解释:我们希望得到的是Y的协方差矩阵为对角线矩阵,而D为对角线矩阵,PQ = 单位矩阵即可,
又Q为正交阵,所以inverse Q = transpose Q,所以
我们可以选择特征值较大的eigenvectors 乘以 X,实现降维
伪代码
实例及R语言实现
a <- c(-1,-1,0,2,0) b <- c(-2,0,0,1,1) x <- as.matrix(cbind(a,b)) # already normalization x cor <- cor(x) eig <- eigen(cor) plot(eig$values) p <- eig$vectors y <- t(p) %*% t(x) plot(t(y))
参考https://www.bilibili.com/video/av29441413/?p=3
https://www.bilibili.com/medialist/play/ml304203591
https://blog.csdn.net/y521263/article/details/44925363