kappa系数(kappa系数的意义)

比较两个用户完成的编码，以衡量评估者之间的可靠性或用户之间编码的一致性程度。

不能使用查询向导来运行编码比较查询，这些查询必须在向导外部进行设置，如下所述：

在Query 选项卡上的Create 组中，单击Coding Comparison。在Compare coding between框中，选择要包括在用户组A和B中的用户：Ur group A 框—点击Select 并选择用户。Ur group B框—点击Select 并选择用户。在 At框中，单击Select 以选择特定的节点或选定的集合，分类或搜索文件夹中的节点。在Scope 框中，单击Select 以选择特定的材料来源。选择要包含在结果中的内容：选择Display Kappa Coefficient以在结果中显示。选择Display percentage agreement以在结果中显示。

注意

要保存编码比较查询，请选择Add to Project复选框，然后在General 选项卡中输入名称和描述（可选）。

如何解释Kappa值？

解释Kappa值的一套近似准则是：

Kappa值

解释

小于0.40

一致性不佳

0.40 – 0.75

大致良好的一致性

大于0.75

很好的一致性

当百分比一致性较高时，为什么Kappa值会较低？

因为Kappa系数计算考虑了用户之间偶然达成一致性的可能性，所以即使百分比一致较高，Kappa的值也可能很低。

例如，如果任一用户尚未在节点上对大多数材料来源进行编码，但是每个用户都在节点上对材料来源的小部分进行了完全不同的编码，则用户之间的百分比一致性会很高。但是由于这种情况很可能是偶然发生的（即，如果两个用户都随机编码了一个小段），则Kappa系数很低。

负Kappa系数是什么意思？

Kappa系数小于或等于零表示两个用户之间（在偶然的情况下除外）在节点上对材料来源中的哪些内容可以编码没有任何一致。

我所有的Kappa系数均为0或1。是什么问题呢？

这最可能表示被比较的两个用户之一尚未在选定节点上对任何选定材料来源进行编码。

在编码比较查询结果中：

如果列“A and B (%)”以及“A and Not B (%)”都完全为零，则用户A尚未在选定节点上对任何材料来源进行编码如果列“A and B (%)”以及“B and Not A (%)”都完全为零，则用户B尚未在选定节点上对任何材料来源进行编码

上海卡贝信息技术有限公司