python降维函数_主成分分析无监督降维PCA在Python中numpy和scikitlearn函数库的实现过程...

1、PCA算法介绍

主成分分析(Principal Components

Analysis)&＃xff0c;简称PCA&＃xff0c;是一种数据降维技术&＃xff0c;用于数据预处理。一般我们获取的原始数据维度都很高&＃xff0c;比如1000个特征&＃xff0c;在这1000个特征中可能包含了很多无用的信息或者噪声&＃xff0c;真正有用的特征才100个&＃xff0c;那么我们可以运用PCA算法将1000个特征降到100个特征。这样不仅可以去除无用的噪声&＃xff0c;还能减少很大的计算量。

PCA算法是如何实现的&＃xff1f;

简单来说&＃xff0c;就是将数据从原始的空间中转换到新的特征空间中&＃xff0c;例如原始的空间是三维的(x,y,z)&＃xff0c;x、y、z分别是原始空间的三个基&＃xff0c;我们可以通过某种方法&＃xff0c;用新的坐标系(a,b,c)来表示原始的数据&＃xff0c;那么a、b、c就是新的基&＃xff0c;它们组成新的特征空间。在新的特征空间中&＃xff0c;可能所有的数据在c上的投影都接近于0&＃xff0c;即可以忽略&＃xff0c;那么我们就可以直接用(a,b)来表示数据&＃xff0c;这样数据就从三维的(x,y,z)降到了二维的(a,b)。

问题是如何求新的基(a,b,c)?

一般步骤是这样的&＃xff1a;先对原始数据零均值化&＃xff0c;然后求协方差矩阵&＃xff0c;接着对协方差矩阵求特征向量和特征值&＃xff0c;这些特征向量组成了新的特征空间。具体的细节&＃xff0c;推荐Andrew

Ng的网页教程&＃xff1a;Ufldl 主成分分析 &＃xff0c;写得很详细。

2、PCA算法实现

语言&＃xff1a;Python

函数库&＃xff1a;Numpy

>>> import numpy as np

根据上面提到的一般步骤来实现PCA算法

(1)零均值化

假如原始数据集为矩阵dataMat&＃xff0c;dataMat中每一行代表一个样本&＃xff0c;每一列代表同一个特征。零均值化就是求每一列的平均值&＃xff0c;然后该列上的所有数都减去这个均值。也就是说&＃xff0c;这里零均值化是对每一个特征而言的&＃xff0c;零均值化都&＃xff0c;每个特征的均值变成0。实现代码如下&＃xff1a;

def zeroMean(dataMat):

meanVal&＃61;np.mean(dataMat,axis&＃61;0) #按列求均值&＃xff0c;即求各个特征的均值

newData&＃61;dataMat-meanVal

return

newData,meanVal

函数中用numpy中的mean方法来求均值&＃xff0c;axis&＃61;0表示按列求均值。

该函数返回两个变量&＃xff0c;newData是零均值化后的数据&＃xff0c;meanVal是每个特征的均值&＃xff0c;是给后面重构数据用的。

(2)求协方差矩阵

newData,meanVal&＃61;zeroMean(dataMat)

covMat&＃61;np.cov(newData,rowvar&＃61;0)

numpy中的cov函数用于求协方差矩阵&＃xff0c;参数rowvar很重要&＃xff01;若rowvar&＃61;0&＃xff0c;说明传入的数据一行代表一个样本&＃xff0c;若非0&＃xff0c;说明传入的数据一列代表一个样本。因为newData每一行代表一个样本&＃xff0c;所以将rowvar设置为0。

covMat即所求的协方差矩阵。

(3)求特征值、特征矩阵

调用numpy中的线性代数模块linalg中的eig函数&＃xff0c;可以直接由covMat求得特征值和特征向量&＃xff1a;

eigVals,eigVects&＃61;np.linalg.eig(np.mat(covMat))

eigVals存放特征值&＃xff0c;行向量。

eigVects存放特征向量&＃xff0c;每一列带别一个特征向量。

特征值和特征向量是一一对应的

(4)保留主要的成分[即保留值比较大的前n个特征]

第三步得到了特征值向量eigVals&＃xff0c;假设里面有m个特征值&＃xff0c;我们可以对其排序&＃xff0c;排在前面的n个特征值所对应的特征向量就是我们要保留的&＃xff0c;它们组成了新的特征空间的一组基n_eigVect。将零均值化后的数据乘以n_eigVect就可以得到降维后的数据。代码如下&＃xff1a;

eigValIndice&＃61;np.argsort(eigVals) #对特征值从小到大排序

n_eigValIndice&＃61;eigValIndice[-1:-(n&＃43;1):-1] #最大的n个特征值的下标

n_eigVect&＃61;eigVects[:,n_eigValIndice] #最大的n个特征值对应的特征向量

lowDDataMat&＃61;newData*n_eigVect #低维特征空间的数据

reconMat&＃61;(lowDDataMat*n_eigVect.T)&＃43;meanVal #重构数据

return

lowDDataMat,reconMat

代码中有几点要说明一下&＃xff0c;首先argsort对特征值是从小到大排序的&＃xff0c;那么最大的n个特征值就排在后面&＃xff0c;所以eigValIndice[-1:-(n&＃43;1):-1]就取出这个n个特征值对应的下标。【python里面&＃xff0c;list[a:b:c]代表从下标a开始到b&＃xff0c;步长为c。】

reconMat是重构的数据&＃xff0c;乘以n_eigVect的转置矩阵&＃xff0c;再加上均值meanVal。

OK&＃xff0c;这四步下来就可以从高维的数据dataMat得到低维的数据lowDDataMat&＃xff0c;另外&＃xff0c;程序也返回了重构数据reconMat&＃xff0c;有些时候reconMat课便于数据分析。

贴一下总的代码&＃xff1a;

#零均值化

def zeroMean(dataMat):

meanVal&＃61;np.mean(dataMat,axis&＃61;0) #按列求均值&＃xff0c;即求各个特征的均值

newData&＃61;dataMat-meanVal

return

newData,meanVal

def pca(dataMat,n):

newData,meanVal&＃61;zeroMean(dataMat)

covMat&＃61;np.cov(newData,rowvar&＃61;0) #求协方差矩阵,return

ndarray&＃xff1b;若rowvar非0&＃xff0c;一列代表一个样本&＃xff0c;为0&＃xff0c;一行代表一个样本

eigVals,eigVects&＃61;np.linalg.eig(np.mat(covMat))#求特征值和特征向量,特征向量是按列放的&＃xff0c;即一列代表一个特征向量

eigValIndice&＃61;np.argsort(eigVals) #对特征值从小到大排序

n_eigValIndice&＃61;eigValIndice[-1:-(n&＃43;1):-1] #最大的n个特征值的下标

n_eigVect&＃61;eigVects[:,n_eigValIndice] #最大的n个特征值对应的特征向量

lowDDataMat&＃61;newData*n_eigVect #低维特征空间的数据

reconMat&＃61;(lowDDataMat*n_eigVect.T)&＃43;meanVal #重构数据

return

lowDDataMat,reconMat

3、选择主成分个数

文章写到这里还没有完&＃xff0c;应用PCA的时候&＃xff0c;对于一个1000维的数据&＃xff0c;我们怎么知道要降到几维的数据才是合理的&＃xff1f;即n要取多少&＃xff0c;才能保留最多信息同时去除最多的噪声&＃xff1f;一般&＃xff0c;我们是通过方差百分比来确定n的&＃xff0c;这一点在Ufldl教程中说得很清楚&＃xff0c;并且有一条简单的公式&＃xff0c;下面是该公式的截图&＃xff1a;

根据这条公式&＃xff0c;可以写个函数&＃xff0c;函数传入的参数是百分比percentage和特征值向量&＃xff0c;然后根据percentage确定n&＃xff0c;代码如下&＃xff1a;

def percentage2n(eigVals,percentage):

sortArray&＃61;np.sort(eigVals) #升序

sortArray&＃61;sortArray[-1::-1] #逆转&＃xff0c;即降序

arraySum&＃61;sum(sortArray)

tmpSum&＃61;0

num&＃61;0

for i in

sortArray:

tmpSum&＃43;&＃61;i

num&＃43;&＃61;1

if tmpSum>&＃61;arraySum*percentage:

return

num

那么pca函数也可以重写成百分比版本&＃xff0c;默认百分比99%。

def pca(dataMat,percentage&＃61;0.99):

newData,meanVal&＃61;zeroMean(dataMat)

covMat&＃61;np.cov(newData,rowvar&＃61;0) #求协方差矩阵,return

ndarray&＃xff1b;若rowvar非0&＃xff0c;一列代表一个样本&＃xff0c;为0&＃xff0c;一行代表一个样本

eigVals,eigVects&＃61;np.linalg.eig(np.mat(covMat))#求特征值和特征向量,特征向量是按列放的&＃xff0c;即一列代表一个特征向量

n&＃61;percentage2n(eigVals,percentage) #要达到percent的方差百分比&＃xff0c;需要前n个特征向量

eigValIndice&＃61;np.argsort(eigVals) #对特征值从小到大排序

n_eigValIndice&＃61;eigValIndice[-1:-(n&＃43;1):-1] #最大的n个特征值的下标

n_eigVect&＃61;eigVects[:,n_eigValIndice] #最大的n个特征值对应的特征向量

lowDDataMat&＃61;newData*n_eigVect #低维特征空间的数据

reconMat&＃61;(lowDDataMat*n_eigVect.T)&＃43;meanVal #重构数据

return

lowDDataMat,reconMat

3、基于python带有功能强大的sklearn库实现PCA的代码&＃xff1a;

#coding&＃61;utf-8

import numpy as np

from sklearn.decomposition import PCA

X &＃61; np.array([[-1,2,66,-1], [-2,6,58,-1], [-3,8,45,-2],

[1,9,36,1], [2,10,62,1],

[3,5,83,2]]) #导入数据&＃xff0c;维度为4

pca &＃61;

PCA(n_components&＃61;2) #降到2维

pca.fit(X) #训练

newX&＃61;pca.fit_transform(X) #降维后的数据

# PCA(copy&＃61;True, n_components&＃61;2, whiten&＃61;False)

print(pca.explained_variance_ratio_) #输出贡献率

print(newX) #输出降维后的数据

参数解释&＃xff1a;

n_components: 我们可以利用此参数设置想要的特征维度数目&＃xff0c;可以是int型的数字&＃xff0c;也可以是阈值百分比&＃xff0c;如95%&＃xff0c;让PCA类根据样本特征方差来降到合适的维数&＃xff0c;也可以指定为string类型&＃xff0c;MLE。

copy&＃xff1a;

bool类型&＃xff0c;TRUE或者FALSE&＃xff0c;是否将原始数据复制一份&＃xff0c;这样运行后原始数据值不会改变&＃xff0c;默认为TRUE。

whiten&＃xff1a;bool类型&＃xff0c;是否进行白化(就是对降维后的数据进行归一化&＃xff0c;使方差为1)&＃xff0c;默认为FALSE。如果需要后续处理可以改为TRUE。

explained_variance_&＃xff1a; 代表降为后各主成分的方差值&＃xff0c;方差值越大&＃xff0c;表明越重要。

explained_variance_ratio_&＃xff1a; 代表各主成分的贡献率。

inverse_transform()&＃xff1a;

将降维后的数据转换成原始数据&＃xff0c;X&＃61;pca.inverse_transform(newX)。