信度分析(信度分析cronbach系数一般多少)

导读：做内容分析法的朋友，应该都听说过“编码员之间的信度”，相信很多初学的朋友在学习和操作过程中都会有很多疑问。今天的文章里，小编整理了有关信度测试的十个经典问题，一一作答。关于信度测试，你所需要知道的都在这里了！

首先我们来明确定义

“在内容分析法里，需要两位或以上数目的编码员来进行编码工作，这些独立的编码员对一段信息或记录内容的特征（也就是记录单位）作出判断，并且达到一致的结论。这种一致性以量化方式呈现，称之为编码者间的信度。”[1]

计算信度并且在论文里汇报信度结果，是为了确保内容分析的有效性或可靠性，使研究结果更为客观。在之前的文章里，已经介绍过编码员信度测试的必要性，提醒在大数据研究场景下，有了技术的协助后内容分析法依然需要信度测试，还介绍过DiVoMiner平台是如何帮助研究者快速执行信度编码和计算信度系数。

可是！经常还有用户有疑问，为什么必须要做信度测试？不做可以吗？在大数据技术辅助的内容分析法中，是否需要做信度测试呢？信度检验样本量多少合适？信度系数计算的公式是怎样的？编码员间信度测试进度不一致，怎么检查核对不一致的地方呢？

别急，接下来就为你解答！

Q1 不做信度测试行不行？

原则上来说，是不行的。

编码者间的信度是衡量研究质量的标准，通常研究信息有显性的内容(manifest content)和隐性的内容(latent content)。对于显性的内容，例如版面面积或者消息来源，很容易以客观的判断来达至高度一致性。但是，对于隐性的内容来说，例如报道态度或者价值观，编码员必须根据他们自己的思维系统作出主观的诠释。这样的话，编码员之间的相互主观判断变得更加重要，因为这些主观的判断结果要尽可能也让其他读者有相似的认知[2]。

从现实的角度来看，编码员间的信度至为重要，因为高信度意味者决策者作出错误决策的机会相对减少[3]。编码员间的信度乃衡量一个内容分析研究效度的必要条件（虽然不是充分条件），没有信度，那么，该研究的结论便值得怀疑，甚至显得毫无意义。

有些研究者会问，可是在很多使用内容分析法的期刊论文或学位论文上，缺少信度的环节，这是为什么呢？在具体的研究中，发刊成功会受到很多因素的影响，综合取决于具体研究需求、研究设计目的、期刊编辑或导师的接受程度和要求。从研究方法的严格要求上来说，是必须要有信度的汇报内容的。

Q2 信度测试的样本量应该选取多少？

用于信度测试的样本量并没有既定标准。

有传统研究中提出，信度测试的样本量建议10%-15%为宜。但是在大数据研究下，即便是抽取10%，数据量依然庞大，因此现在也接受较为变通的做法，减少信度测试样本量，但是多少为宜，需要考虑样本的代表性情况，综合考虑具体研究需求，甚至需要考虑期刊审稿人或导师要求。

Q3 机器编码是否需要信度测试？

在使用大数据技术辅助编码时，信度测试也是十分必要的！

DiVoMiner平台上的机器编码，实际上是借助大数据和NLP技术协助进行机器编码，在这个过程中，依旧有人工的介入，只是人工介入程度较纯人工编码少。因此，在使用机器编码的正确操作流程应该是：先确保人工介入部分，即人工制定之规则的信度，再将其应用于机器编码中，并比较机器编码与人工编码的一致性，在两者达到一致性后，才可采用机器编码结果作为解读依据。

DiVoMiner上的信度测试功能，除了能实现对编码员间信度的评估外，同样可以评估算法机器人的信度。

Q4 是所有编码员都需要做信度编码吗？

是的。

在内容分析中，我们需要两位或以上数目的编码员来进行编码工作，每一位编码员对于信息或记录内容的判断之准确性都非常重要，需要所有编码员都达到一致性的结论，最终以编码员信度的方式呈现这种一致性。

Q5 信度计算的公式有哪些？

目前，大概有39种不同的同意度指标[4]，常用的有Percent agreement，Holsti’s Coefficient Reliability，Cohen's kappa(k)，Scott’s pi(π)，Krippendorff’s alpha(α)。其中，Holsti’s Coefficient Reliability是当前最流行的指标。

目前，DiVoMiner平台提供Holsti’s Coefficient Reliability、Scott’s Pi、Cohen's kappa和Krippendorff’s alpha四种信度计算方式。

Q6 信度水平高低如何判断？

到底信度结果要达到多少才能算是“理想信度”呢？其实，在学术上关于信度达标的硬性标准未有定论，信度会依据研究需求以及类目难度（主观性类目难度较大）有所浮动。下面是四种信度指标的可接受水平的参考范围，供大家了解。

Q7 论文中，信度测试应该汇报哪些内容？

一般情况，在论文研究中，我们一般会说明信度测试使用的计算方式、抽样方式、信度检验样本占比与数量、编码员之间的信度系数等信息。通常需要汇报两两编码员间的信度结果和复合信度结果。

Q8 有好用的计算信度的工具推荐吗？

可以计算信度的工具/软件有很多，可以根据公式手动计算或者运用工具计算，比如专门的信度结果计算软件或小程序(AGREE, PRAM, ReCal），或统计分析软件自带的一些信度计算功能（SPSS）；其他软件，如Simstat、QDA Miner都自带了信度计算的功能，可下载体验。不过，很多用户跟小编抱怨，说这些工具的使用体验实在一言难尽。

当然，最好用的信度计算工具当然是DiVoMiner啦！DiVoMiner为大家提供了从信度测试的准备工作开始到信度测试完成的整个流程，确保大家在平台上可以逐步进行信度测试，直至完成整个测试流程，而且每一个步骤都是透明可追踪的。不论你是第一次做信度测试，还是已经熟练了整个测试流程，都可以让你方便快捷地完成。

Q9 怎样在DiVoMiner平台上做信度测试编码和计算信度呢？

第一步：确定信度测试的样本，建立测试库

第二步：所有编码员(可能包括机器人)完成测试编码

第三步：计算信度结果

Q10 怎么查看测试编码结果？快速了解编码员之间的理解差异。

平台管理员还可以在【编码跟踪】里查看不同编码员的结果哦，快速定位编码差异，矫正编码员思路。

编码员间的信度乃衡量一个内容分析研究效度的必要条件（虽然不是充分条件），信度测试让我们的研究结论更具可靠性，千万要重视信度测试环节！

今天的分享就到这里啦，关于内容分析法的理论和操作上还有什么疑问，可以留言给小编哦！欢迎交流。

参考文献

[1] Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2004). A call for standardization in content analysis reliability. Human Communication Rearch, 30(3), 434-437.

[2] Potter, W. J., & Levinedonnerstein, D. (1999). Rethinking validity and reliability in content analysis. Journal of Applied Communication Rearch, 27(3), 258-284.

[3] Rust, R. T., & Cooil, B. (1994). Reliability measures for qualitative data: theory and implications. Journal of Marketing Rearch, 31(1), 1-14.

[4] Popping, G. (1988). Stone parting device. EP0283674.

DiVoMiner是按学术标准的量化内容分析法一站式平台，马上注册，使用公益免费版，学好研究方法，做论文，出报告，研出必行！做原创内容，尤其是研究内容，着实不易，敬请分享、点赞、关注！欢迎投稿，分享您的研究或思考！