python计算协方差矩阵_协方差矩阵、相关系数矩阵的EXCEL和python实现

原标题&＃xff1a;协方差矩阵、相关系数矩阵的EXCEL和python实现

CPDA广州19期学员

现任职务&＃xff1a;数据分析师

史金乐

优秀学员原创文章

要计算相关系数矩阵&＃xff0c;那就不得不提协方差矩阵。在《概率论与数据统计》中协方差矩阵的定义具体如下&＃xff1a;

按照协方差矩阵中各元素cij的计算过程&＃xff0c;我们可以得知要依次计算E&＃xff08;Xi&＃xff09;&＃xff0c;X - E&＃xff08;Xi&＃xff09;&＃xff0c;cij。

在得到协方差矩阵之后&＃xff0c;可以根据相关系数公式&＃xff1a;&＃xff08;其中D&＃xff08;X&＃xff09;为矩阵X的方差&＃xff09;

可以得出相关系数矩阵&＃xff0c;具体如下&＃xff1a;

所以综上所述&＃xff0c;要求相关系数矩阵&＃xff0c;那么首先要求得协方差矩阵。接下来&＃xff0c;就用Excel和python来分别求得协方差矩阵和相关系数矩阵。

Excel

原始数据如下&＃xff1a;&＃xff08;取10组数据&＃xff0c;X1、X2、X3为数据的特征&＃xff09;

接下来&＃xff0c;打开Excel中的“数据”-“数据分析”&＃xff08;“数据分析”是Excel的加载项&＃xff0c;添加方式是“文件”-“选项”-“加载项”-“Excel加载项”-转到-“分析工具库”-确定&＃xff09;&＃xff0c;然后选择协方差。

输入区域选择X1-X3的区域&＃xff0c;分组方式选择“逐列”&＃xff0c;将“标志位于第一行”前面的钩子点上&＃xff0c;输入区域选择本工作表的G1单元格&＃xff0c;然后点击确定。

然后即可得出协方差矩阵。具体如下&＃xff1a;

在选择数据分析时&＃xff0c;选择“相关系数”&＃xff0c;然后同样的操作流程&＃xff0c;即可得到相关系数矩阵。具体如下&＃xff1a;

Excel中的实现比较简单&＃xff0c;接下来就用python来计算相关系数矩阵和协方差矩阵。

python

首先整理下思路&＃xff1a;

1、加载数据&＃xff1b;

2、读取数据到Dataframe中&＃xff1b;

3、整理需要计算的数据到新的Dataframe中&＃xff0c;准备应用于下一步计算&＃xff1b;

4、用Dataframe的cov方法来求协方差矩阵&＃xff0c;用corr方法来求相关系数矩阵。

编写代码&＃xff0c;并运行后得到如下结果&＃xff1a;

细心的同学可以发现&＃xff0c;协方差矩阵&＃xff08;上面的矩阵&＃xff09;得出的结果是和Excel里面计算的结果有所不同。原因是因为Dataframe中求协方差矩阵时候是进行了标准化处理&＃xff0c;具体可查阅方法的文档说明&＃xff1a;

那如何可以得到和Excel里面计算的结果一样呢&＃xff1f;

那就要把这10组数据当作是样本总体&＃xff0c;使用numpy.cov(bias&＃61;True)方法来求即可。整体代码如下&＃xff1a;

整体运行得到的结果如下&＃xff1a;

其实不管是Excel还是python&＃xff0c;求协方差矩阵和相关系数矩阵都很简单&＃xff0c;但是要理解二者的计算过程&＃xff0c;自己手动计算一遍求解过程还是很有必要的&＃xff0c;下面是我自己在Excel里面的计算过程&＃xff0c;贴出来供给大家参考。

总体上来讲&＃xff0c;协方差矩阵和相关系数矩阵是数据分析中的基础知识点&＃xff0c;计算过程和实现方法都是比较简单的。打好基础才能更深入的学习后续知识~

福利到 CPDA全国线上沙龙活动

将于5月15日晚7点如期举办&＃xff01;

扫码进群即可免费参加

责任编辑&＃xff1a;