SPSS分析技术:裁判(打分者)的信度分析

奥运会的很多比赛项目都是通过裁判的打分来决定名次的归属，例如，跳水，花样游泳，体操等项目。为了比赛的公平，奥运会的组委会会以合适的比例选择来自不同地区和国家的裁判组成裁判小组，避免裁判有意识或无意识的倾向于来自于同一地区或国家的运动员。除了这样人为安排以外，有没有数据分析技术从数据的角度对裁判的打分进行监督和评价，从而保证比赛公平呢？其实是有的，这就是评分者的信度分析。

评分者信度分析

评分者信度分析是指多个评分者对同一批受考核者进行评分时的一致性程度。在日常工作中，政治教师阅卷，评委打分之类的难免受到主观因素影响，如何评判他们的评分是否公正合理，这就需要用到评分者信度分析。

评分者信度考察采用相关分析。如果评分者是两人，可以采用Pearson或Spearman等级相关；如果评分者是三人及以上，并且采用等级评分方式，可以采用Kendall协同系数来分析。Kendall协同系数的公式为：

协同系数W表示变量之间的协同程度，取值在0~1之间，W越接近于1，表示变量之间的差异性越大，说明裁判的打分差异显著。SPSS将自动计算W，并给出对应的相伴概率值，如果相伴概率值小于或等于显著性水平α，则拒绝零假设，认为裁判打分越不一致，反之，则认为打分标准一致。

范例分析

现在有一份某届奥运会8位裁判对200名运动员的打分数据资料。根据这些数据分析这8位裁判的打分标准是否公平。

（例题数据文件已经上传到QQ群中，需要的朋友可以前往下载）

分析步骤

选择菜单【分析】-【非参数检验】-【旧对话框】-【K个相关样本】，在打开的对话框中按照下图输入信息；在检验类型中，选择Kendall W，点击【确定】。

结果解读

左边的等级表格展示8位裁判在对200名运动员进行打分时，每位裁判的打分分数在所有裁判中的平均排名，可以发现8位裁判分成三类，A裁判和H裁判打分比较一致，给分比较客观；B裁判、D裁判和F裁判的打分一致性高，分数给得较低；剩下的C裁判、E裁判和G裁判结为一类，给的分数较高。右侧的检验统计表格显示了W系数为0.580，说明裁判之间的打分差异性比较大，这个结论也可以从显著性水平为0.000得出。

我们可以将B裁判、D裁判和F裁判的打分数据再进行一次K关联样本的非参数检验，得出的结果如下图所示：

从这个结果可以印证我们上面的结论，从等级表格可以知道，三位裁判打分的平均排名是差不多的。Kendall W系数为0.000，说明三位裁判的打分差异很小，显著性水平为0.000，也说明了三位裁判的打分差异性很小，一致性很高。