随机向量x的协方差阵_【科普】如何正确理解特征值与特征向量

Greeting&＃xff01;

特征值与特征向量是大学线性代数与统计学课程里的内容&＃xff0c;当年强背了过去&＃xff0c;并没有真正理解过这个问题。为了以后学习统计学习方法更方便&＃xff0c;在此记录下学习文章以加深理解。&＃xff08;个人观点&＃xff0c;如有错漏请提出&＃xff09;

抽象理解

特征值&＃xff08;eigenvalue&＃xff09;和特征向量&＃xff08;eigenvector&＃xff09;具有共同前缀 eigen- &＃xff0c;其起源于德语&＃xff0c;意为“特征”。首先我们应该充分理解“特征”的含义&＃xff1a;对于线性代数而言&＃xff0c;特征向量和特征值体现了矩阵的本质&＃xff0c;“特征”强调了单个矩阵的特点&＃xff0c;相当于它的ID card。

从线性代数的角度出发&＃xff0c;如果把矩阵看作n维空间下的一个线性变换&＃xff0c;这个变换有很多的变换方向&＃xff0c;我们通过特征值分解得到的前N个特征向量&＃xff0c;那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向&＃xff0c;就可以近似这个矩阵&＃xff08;变换&＃xff09;。其中的N个变化方向&＃xff0c;就是这个矩阵最重要的“特征”。

有了特征的概念后&＃xff0c;我们又如何理解特征值与特征向量呢&＃xff1f;可以作这样比喻&＃xff1a;

1. 如果把矩阵看作是位移&＃xff0c;那么特征值 &＃61; 位移的速度&＃xff0c;特征向量 &＃61; 位移的方向。
2. 特征向量在一个矩阵的作用下作伸缩运动&＃xff0c;伸缩的幅度由特征值确定&＃xff08;注意观察定义式&＃xff09;。特征值大于1&＃xff0c;所有属于此特征值的特征向量变长&＃xff1b;特征值属于(0, 1)&＃xff0c;特征向量缩短&＃xff1b;特征值小于0&＃xff0c;特征向量则反向延长。

我们都知道线性代数中&＃xff0c;左乘一个矩阵是对应着行变换&＃xff0c;右乘一个矩阵对应列变换&＃xff0c;其实际的作用也就是对常规坐标系进行了迁移。那么&＃xff0c;【重点】对于在普通二维坐标系下的向量

&＃xff0c;它在矩阵

描述空间中的表示与自己单纯的进行拉伸或者缩放的效果一致&＃xff0c;满足这种特殊性的

就是特征矩阵&＃xff0c;对应的拉伸量

就是特征值。

有了这个特殊的性质&＃xff0c;特征向量与特征值出现在很多有矩阵运算的地方&＃xff0c;如主成分分析&＃xff08;PCA&＃xff09;、奇异值分解&＃xff08;SVD&＃xff09;等机器学习方法中更是时常提到。至于PCA与SVD的基本思想&＃xff0c;请看我接下来的科普文章。

关于定义

设A是n阶矩阵&＃xff0c;如果存在常数

和n维非零向量X&＃xff0c;

使得

则称

为矩阵A的一个

&＃xff09;

该式子可理解为向量x在几何空间中经过矩阵A的变换后得到向量

。由此可知&＃xff0c;向量

经过矩阵A变换后&＃xff0c;只是大小伸缩了

倍。总而言之&＃xff1a;

• 并且&＃xff0c;我们有以下推论&＃xff1a;

其中第三个是特征值分解公式&＃xff0c;

为

的

的特征向量

组成&＃xff09;。

是包含对应特征值的

• 从解题的角度&＃xff0c;我们再来谈谈如何求特征值和特征向量&＃xff1a;

设向量a为矩阵A对应于特征值 λ 的特征向量&＃xff0c;

即

则有&＃xff1a;

所以求解a就是求解

中

的非零解。

其中I是单位矩阵&＃xff0c;因此

称为A的

前置知识

&＃xff08;1&＃xff09;方差、协方差、相关系数、协方差矩阵

方差

方差用来度量随机变量 X 与其数学期望 E(X) 的偏离程度&＃xff0c;公式为&＃xff1a;

方差总是一个非负数&＃xff0c;当随机变量的可能值集中在数学期望的附近时&＃xff0c;方差较小&＃xff1b;反之方差大。由方差的大小可以推断随机变量分布的分散程度。

协方差

协方差用来刻画两个随机变量 X , Y 的相关性&＃xff0c;公式为&＃xff1a;

如果协方差为正&＃xff0c;说明X&＃xff0c;Y同向变化&＃xff0c;协方差越大说明同向程度越高&＃xff1b;如果协方差为负&＃xff0c;说明X&＃xff0c;Y反向运动&＃xff0c;协方差越小说明反向程度越高。
对上述“同向”和“反向”的理解&＃xff1a;
1&＃xff09;你变大&＃xff0c;同时我也变大&＃xff0c;说明两个变量是同向变化的&＃xff0c;这时协方差就是正的。
2&＃xff09;你变大&＃xff0c;同时我变小&＃xff0c;说明两个变量是反向变化的&＃xff0c;这时协方差就是负的。
3&＃xff09;从数值来看&＃xff0c;协方差的数值越大&＃xff0c;两个变量同向程度也就越大。反之亦然。

相关系数

用随机变量X&＃xff0c;Y的协方差除以X的标准差和Y的标准差&＃xff0c;公式为&＃xff1a;

相关系数也可以看成是协方差&＃xff1a;一种剔除了两个变量量纲&＃xff0c;标准化后的协方差。

相关系数是一种标准化后的协方差&＃xff0c;有以下特点&＃xff1a;
1&＃xff09;也可以反映两个变量变化时是同向还是反向&＃xff0c;如果同向变化就为正&＃xff0c;反向变化就为负。
2&＃xff09;它消除了两个变量变化幅度的影响&＃xff0c;而只是单纯反应两个变量每单位变化时的相似程度。

对于两个随机变量&＃xff1a;
1&＃xff09;当他们的相关系数为1时&＃xff0c;说明两个变量变化时的正向相似度最大&＃xff0c;即&＃xff0c;你变大一倍&＃xff0c;我也变大一倍&＃xff1b;你变小一倍&＃xff0c;我也变小一倍。也即是完全正相关&＃xff08;以X、Y为横纵坐标轴&＃xff0c;可以画出一条斜率为正数的直线&＃xff0c;所以X、Y是线性关系的&＃xff09;。
2&＃xff09;随着他们相关系数减小&＃xff0c;两个变量变化时的相似度也变小&＃xff0c;当相关系数为0时&＃xff0c;两个变量的变化过程没有任何相似度&＃xff0c;也即两个变量无关。
3&＃xff09;当相关系数继续变小&＃xff0c;小于0时&＃xff0c;两个变量开始出现反向的相似度&＃xff0c;随着相关系数继续变小&＃xff0c;反向相似度会逐渐变大。
4&＃xff09;当相关系数为&＃xff0d;1时&＃xff0c;说明两个变量变化的反向相似度最大&＃xff0c;即&＃xff0c;你变大一倍&＃xff0c;我变小一倍&＃xff1b;你变小一倍&＃xff0c;我变大一倍。也即是完全负相关&＃xff08;以X、Y为横纵坐标轴&＃xff0c;可以画出一条斜率为负数的直线&＃xff0c;所以X、Y也是线性关系的&＃xff09;。

协方差矩阵

• 协方差只能处理二维问题&＃xff0c;即两个随机变量的相关程度。
• 维数多了就需要计算多个协方差&＃xff0c;于是出现了协方差矩阵。
• 协方差矩阵的每一个值就是对应下标的两个随机变量的协方差&＃xff08;即相关程度&＃xff09;。

可以看出&＃xff0c;协方差矩阵是一个对称矩阵&＃xff0c;而且对角线是各个维度的方差。

python代码举例&＃xff1a;

应用实例分析——机器学习中的分类问题

　　机器学习中的分类问题&＃xff0c;给出178个葡萄酒样本&＃xff0c;每个样本含有13个参数&＃xff0c;比如酒精度、酸度、镁含量等&＃xff0c;这些样本属于3个不同种类的葡萄酒。任务是提取3种葡萄酒的特征&＃xff0c;以便下一次给出一个新的葡萄酒样本的时候&＃xff0c;能根据已有数据判断出新样本是哪一种葡萄酒。

问题详细描述&＃xff1a;http://archive.ics.uci.edu/ml/datasets/Wine
训练样本数据&＃xff1a;http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data

把数据集赋给一个178行13列&＃xff08;13个特征&＃xff09;的矩阵R&＃xff0c;它的协方差矩阵C是13行13列的矩阵&＃xff0c;对C进行特征分解&＃xff0c;对角化

其中U是特征向量组成的矩阵&＃xff0c;D是特征组成的对角矩阵&＃xff0c;并按由大到小排列。

然后&＃xff0c;令&＃xff1a;

就实现了数据集在特征向量上的投影。

【注意】

中的数据列是按照对应特征值的大小排列的&＃xff0c;后面的列对应的特征值小&＃xff0c;因而去掉以后对整个数据集的影响比较小。比如&＃xff0c;现在我们通过上面的公式去掉后面的8列&＃xff0c;只保留前5列&＃xff08;

&＃xff09;&＃xff0c;就相当于将13维的数据通过PCA降到了5维。

Talk is cheap, show me the code!

根据蜥蜴书的内容&＃xff0c;后面会专门开一个专栏分享如何使用sklearn库解决上述机器学习问题的code以及对应注释&＃xff0c;同步会上传至Github上&＃xff0c;敬请期待&＃xff01;