
第二节 估计信度的方法
前面已经提出了信度的概念,但只是一个理论上的构想,实际测量过程中,无法对真分数和误差分数进行测量,在实际应用中,通常以同一样本得到的两组资料的相关,作为测量一致性的指标。估计信度有不同的方法,常用的估计的方法有再测信度、复本信度、等值稳定性系数、内部一致性系数、评分者信度等。
一、再测信度(Test-Retest Reliability)
再测信度,也叫重测信度,也叫稳定性系数。用同一个测验,对同一组被试前后施测两次,对两次测验分数求相关,其相关系数就叫再测信度。其计算公式(皮尔逊积差相关公式的变式)为:
(公式5-6)
式中X1、X2为同一被试的两次测验分数,、为全体被试两次测验的平均数,S1、S2为两次测验的标准差(样组标准差,参见金瑜的书P183),N为被试人数。
再测法的模式是:施测 适当时距 再施测
例2:假设有一份主观幸福感调查表,先后两次施测于10名学生,时间间隔为半年,结果如表所示,求该测验的重测信度。(为了便于理解和计算,本章估计信度的例子都是小样组,实际应用时应采用大样组。)
表5-1 某幸福感调查表的两次测试结果
测验 | 被试 |
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
X1 | 16 | 15 | 13 | 13 | 11 | 10 | 10 | 9 | 8 | 7 |
X2 | 16 | 16 | 14 | 12 | 11 | 9 | 11 | 8 | 6 | 7 |
| | | | | | | | | | |
解:用计算器算出
S1=2.82,S2=3.38,,,
把以上数据代入公式5-6,可得
此题可用计算机社会科学统计软件做,求皮尔逊积差相关。
在测验手册上报告的再测信度,一般要注明被试样本的性质、大小,以及间隔多长时间等,以便使使用者了解样本及时间因素对测验稳定性的影响。
计算再测信度必须注意几个问题:
(1)所测量的特性必须是稳定的。当然绝对的稳定是不可能的,但应该是比较稳定的。所欲测的如果是智力、人格、兴趣等心理特质,则可以采用再测法;如果是知识、情绪等心理特质就不能使用再测法,因为这些心理特质是不稳定的。
(2)遗忘和练习的效果基本上相互抵消。
在做第一次测验时,被试可能会获得某种技巧,但只要间隔时间适度,这种练习的效果会基本上被遗忘掉。
因此,再测信度要考虑时间间隔的问题。到底多长合适呢?一般来说,相隔时间越长,稳定系数越低。最适宜的时距随测验的目的、性质及被试的特点而异。对于年幼儿童,两次施测的时间间隔应比年纪较大的被试短些,这是因为在个体发展的早期变化较快。一般来说,无论对于那种被试,初测与再测的间隔最好不要超过六个月。
另外,还有一种情况,例如,我们可能在间隔许多年后对被试施测同一个智力测验,此时我们的目的主要是考察智力随年龄的发展变化,而不是用来估计测验的信度。
(3)再测法适用于速度测验而不适用于难度测验。
速度测验题目较多,时间较紧,被试无法记住测验内容,所以受第一次测验的影响小,记忆效果可以忽略不计。
(4)应注意提高被试者的积极性。由于再测法是把原测验原封不动地重测一次,所以被试者容易兴趣索然,采取不积极合作的态度,使第二次测验的质量下降。所以,提高被试者的积极性,使他们如同第一次那样认真负责地完成测验,这是再测法计算信度能够成功的一个重要条件。
由于测验的再测信度受时间和其它多种因素的影响,故任何一个测验就可有不止一个再测信度系数。所以在测验手册中报告此种信度时应说明时间间隔以及在此间隔中被试的经历,如有无受过何种教育训练、心理治疗以及有何学习经历等。
二、复本信度
复本信度(Alternate Form Reliability),也称等值性系数(Coefficient of Equivalence)。
用两个平行(等值)的测验对同一组被试施测,得到两组测验分数,求这两组测验分数的相关系数,这就是复本信度。因为这反应了两个测验的等值程度,因此又称等值性系数。计算方法与再测法是一样的。
复本信度的模式是:复本A 最短时距 复本B
例3:假设用A、B两型创造力复本测验对初中一年级10个学生施测。结果见表5-2。(此题可以让学生自己计算)
表5-2 某创造力复本测验测试结果
测验 | 被试 |
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
X1 | 20 | 19 | 19 | 18 | 17 | 16 | 14 | 13 | 12 | 10 |
X2 | 20 | 20 | 18 | 16 | 15 | 17 | 12 | 11 | 13 | 9 |
| | | | | | | | | | |
解:先用计算器计算得出以下值:
,,,,
代入公式5-6,得
复本信度应用时应注意以下几点:
(1)复本信度的关键在于两个量表必须等值,即必须具有相同的难度、区分度、长度、题型等。只有达到这一要求,根据两次测验分数求出的复本信度才有意义。施测过程中的条件当然应该一致。
(2)两次测验的时距应尽可能短促,以便避免知识的积累、练习效应等因素的影响。最短的时距时在一次测验中先后用两个量表施测被试。
(3)由于量表的两个复份在许多方面近似,所以信度系数有稍稍偏高的倾向。
(4)被试易出现疲劳、失去积极性等反应,还会出现迁移(由于第二个测验只改变了题目的具体内容,已经掌握的解题原则很容易迁移到同类问题)。这些称为顺序效应,为了抵消顺序效应,可随机分配一半被试先做复本A再做复本B,另一半被试先做复本B再做复本A,以平衡顺序效应。
(5)复本法只能减少而不能完全排除练习和记忆的影响。
(6)对于许多测验来说,建立复本是相当困难的。一般来说,成就测验、特殊能力测验容易建立复本,因为较容易出题,但对于一些不易测量的特质,如人格、动机等,则不易找到等值的测题,复本的编制较困难。
同再测信度一样,在报告复本信度时,也应说明两次测验的时间间隔,以及在此间隔内被试的有关经历。
三、等值稳定性系数
等值稳定性系数是用两个平行的(等值的)测验,间隔适当时距施测于同一组被试得到两组测验分数,求这两组测验分数的相关,其相关系数就是等值稳定性系数。
等值稳定性系数的模式是:测验A 适当时距 测验B
计算方法同稳定性系数和等值性系数。
等值稳定性系数也是采用复本对被试施测,但等值性系数的测验要求两次测验的时间间隔尽可能短,而计算等值稳定性系数的两次测验却要求有一个适当的时距。时距的规定可参照稳定性系数。
优点:(1)因两次测试有适当的时间间隔,减少了复本法中的练习、疲劳效应。 (2)只要时间间隔适当,可用于计算稳定性不高的心理特质的测验的信度。如,对学生所学知识的测验,稳定性较差,遗忘或通过学习知识的增长。此时,可以尽量缩短时间间隔,减少这些不稳定的效应。
注意:
等值稳定性信度系数的值一般要比等值性系数和稳定性系数要低。因为,时间因素会引起我们所要测量的心理特质的变化以及测题的取样不同会影响两次测验分数的一致性。因此,等值稳定性系数是测验信度的最严格的考察,得到的是信度系数的下限。
四、内部一致性系数
前面所讲的估计信度的方法,都必须对被试测验两次,然后计算两次测验得分的相关系数。但是,有的测验没有复份,如人格测验,等值的测题很难编,编制复本很难。有的测验在施行一次以后,由于被试流动或不易召集,再测一次比较困难。因此,我们还要设法利用一次测验所获得的资料来计算信度系数。这样计算出来的信度系数反应的是测验内部的一致性,即测验项目的同质性,也就是测验内部所以题目间的一致性,叫做内部一致性系数或同质性系数或同质性信度。
计算内部一致性系数的方法有两种,下面逐一介绍。
(一)分半法(分半信度)
分半信度(Split-half reliability):分半信度就是将测验题目分成等值的两半,分半求出量表题目的总分,再计算两部分总分的相关系数。
分半法实际上是一种特殊的复本法。可以把对等的两半测验看成是在最短的时间内施测的两个平行的测验。
分半的方法很多,常见的方法是把一个量表按题目番号分为两半,一半是奇数题,另一半数偶数题。求出每个人的奇数题的总得分和偶数题的总得分,然后求出奇数题总得分和偶数题总得分的相关系数,最后对相关系数进行校正。为什么要进行校正呢?因为,分半以后,我们实际上计算的是测验的一般题目的信度,而非整个测验的信度,也就是说我们把一个完整的测验分成了两个等值的复本,所计算的只是其中一个复本的信度,这就会造成对整个测验的信度的低估,因为信度会随着测验长度的增加而提高。所以,要对求出的相关系数进行校正。