![403b3e856c794463e27088b8959bfb44.gif](https://img.php1.cn/3cd4a/1eebe/cd5/8343fdbffb0056b5.webp)
一致性评价,是指对两个或多个相关的变量进行分析,从而衡量其相关性的密切程度。
举例如下:
![5e22510a2b5003e51664e712192d5625.png](https://img.php1.cn/3cd4a/1eebe/cd5/b428d8f746fb8d47.webp)
如何评价两个评委(数据集)的一致性?
皮尔森 Pearson 相关系数;
皮尔森相关系数(Pearson coefficient)的应用背景举例:
用来衡量两个用户之间兴趣的一致性
用来衡量预测值与真实值之间的相关性
既适用于离散的、也适用于连续变量的相关分析
![8b39cdb52f0ebb52af130d0691e34317.png](https://img.php1.cn/3cd4a/1eebe/cd5/8be1ccb5166feb93.webp)
注:pxy 也就是 r 计算的是X和Y变量的相关系数;R^2 是判别系数,用来判别线性回归的拟合程度,即所有自变量作为一个总体,对因变量Y方差的解释程度,取值范围是[0,1],当线性回归模型只有一个x和y时,那么R = r。
科恩卡帕 Cohen’s kappa 相关系数:
Cohen‘s kappa相关系数也可用于衡量两个评价者之间的一致性。
其特点在于:
pearson相关系数的区别:Cohen‘s kappa 相关系数通常用于离散的分类的一致性评价。
通常被认为比两人之间的简单一致百分比更强壮,因为Cohen‘s kappa考虑到了二人之间的随机一致的可能性。
Cohen‘s Kapps 主要用于两者的评价,如果评价者多于2人时,可以考虑使用 弗莱斯卡帕 Fleiss' kappa
举例说明:
![505381b23afa4ff13927638a264f48fe.png](https://img.php1.cn/3cd4a/1eebe/cd5/b428d8f746fb8d47.webp)
对角线上的a d 情况是符合两评委评价的一致
![ac109e5a0082b1956175642d277a9dc7.png](https://img.php1.cn/3cd4a/1eebe/cd5/d34245582687a4e6.webp)
![70b99abe7ee774e0f9406e83cd6683cd.png](https://img.php1.cn/3cd4a/1eebe/cd5/ff61bfdd3c0af92e.webp)
![cccfd32d8d83bd67ef5b25bf7dbb3498.png](https://img.php1.cn/3cd4a/1eebe/cd5/43a754c811e7ec5c.webp)
![7c5b8fae19381db3888a2df32152c40f.png](https://img.php1.cn/3cd4a/1eebe/cd5/7494af3c1cda418d.webp)
若k值小于0.4,则一致性不理想,大于0.8则属于理想情况,小于0不相关。
弗莱斯卡帕相关系数 Fleiss' kappa:
Fleiss' kappa 是Cohen‘s kappa 相关系数的”升级版“,用于两者以上的一致性评价。
举例说明:
![354e8a05dcb909a3022bbe39d029d1b6.png](https://img.php1.cn/3cd4a/1eebe/cd5/ed19db63ee478b98.png)
上图每一行的评价总数和为14,Fleiss' kappa 计算过程如下:
![f41d3f1f76004141578741667ee57756.png](https://img.php1.cn/3cd4a/1eebe/cd5/45a090220e38e09d.webp)
![e39c2483f26b21b6b756c0eb5df4e9b1.png](https://img.php1.cn/3cd4a/1eebe/cd5/c72d78d7317a9e8e.webp)
![a45891797bd80d0d6c13c155e28099fc.png](https://img.php1.cn/3cd4a/1eebe/cd5/d84f9786330d9e41.png)
Kappa 系数 k 的计算公式都是相同的,可用于一致性检验,和衡量分类的精度,其计算是基于混淆矩阵的。
![ea8f0d03fbc8a64cec4e2917ee51c2ff.png](https://img.php1.cn/3cd4a/1eebe/cd5/45a090220e38e09d.webp)
![914eafc153ea0f1ddcc526ec24fea767.png](https://img.php1.cn/3cd4a/1eebe/cd5/3e641eb5f5c8cd90.webp)
好文章,我 在看❤