量化评价和质化评价举例_知识卡片一致性评价r和k

一致性评价&＃xff0c;是指对两个或多个相关的变量进行分析&＃xff0c;从而衡量其相关性的密切程度。

举例如下&＃xff1a;

如何评价两个评委(数据集)的一致性&＃xff1f;

皮尔森 Pearson 相关系数&＃xff1b;

皮尔森相关系数(Pearson coefficient)的应用背景举例:

•  用来衡量两个用户之间兴趣的一致性

• 用来衡量预测值与真实值之间的相关性

• 既适用于离散的、也适用于连续变量的相关分析

注&＃xff1a;pxy 也就是 r  计算的是X和Y变量的相关系数&＃xff1b;R^2 是判别系数&＃xff0c;用来判别线性回归的拟合程度&＃xff0c;即所有自变量作为一个总体&＃xff0c;对因变量Y方差的解释程度&＃xff0c;取值范围是[0,1]&＃xff0c;当线性回归模型只有一个x和y时&＃xff0c;那么R &＃61; r。

科恩卡帕 Cohen’s kappa 相关系数&＃xff1a;

Cohen‘s kappa相关系数也可用于衡量两个评价者之间的一致性。

其特点在于&＃xff1a;

• pearson相关系数的区别:Cohen‘s kappa 相关系数通常用于离散的分类的一致性评价。

• 通常被认为比两人之间的简单一致百分比更强壮&＃xff0c;因为Cohen‘s kappa考虑到了二人之间的随机一致的可能性。

• Cohen‘s Kapps 主要用于两者的评价&＃xff0c;如果评价者多于2人时&＃xff0c;可以考虑使用 弗莱斯卡帕 Fleiss&＃39; kappa

举例说明&＃xff1a;

对角线上的a d 情况是符合两评委评价的一致

若k值小于0.4&＃xff0c;则一致性不理想&＃xff0c;大于0.8则属于理想情况&＃xff0c;小于0不相关。

弗莱斯卡帕相关系数 Fleiss&＃39; kappa&＃xff1a;

Fleiss&＃39; kappa 是Cohen‘s kappa 相关系数的”升级版“&＃xff0c;用于两者以上的一致性评价。

举例说明&＃xff1a;

上图每一行的评价总数和为14&＃xff0c;Fleiss&＃39; kappa 计算过程如下&＃xff1a;

Kappa 系数 k 的计算公式都是相同的&＃xff0c;可用于一致性检验&＃xff0c;和衡量分类的精度&＃xff0c;其计算是基于混淆矩阵的。

好文章&＃xff0c;我 在看❤