嵌套設(shè)計下的主觀題評分者效應(yīng)研究——基于多水平隨機系數(shù)模型.pdf

1、主觀評分是指評分者按照一定的評分標準對受評者的行為表現(xiàn)進行評價打分的過程。在教育評價、人力資源選拔、競技體育、語言測試等領(lǐng)域，主觀評分已經(jīng)被廣泛應(yīng)用。如此一來，評分者整體效應(yīng)問題就成為心理測量和評價領(lǐng)域中的一個重要研究課題。多水平隨機系數(shù)模型(MRCM)結(jié)合線性回歸和歸因分層的思想來甄別具有嵌套結(jié)構(gòu)數(shù)據(jù)中可能存在的評分者效應(yīng)，尤其是評分者的寬大誤差效應(yīng)。多水平隨機系數(shù)模型(MRCM)不僅可以估計評分者層面的整體效應(yīng)，而且還可以估計評分者

2、自身因素對評分結(jié)果產(chǎn)生的影響。本研究包括三部分內(nèi)容:
　　首先，對284名大學(xué)教師經(jīng)過問卷調(diào)查的方式驗證了評分者影響因素構(gòu)念的合理性，獲得一階四因子結(jié)構(gòu)，即評分者的責(zé)任心，情緒穩(wěn)定性，自信心和評分經(jīng)驗。目的在于探索評分者的內(nèi)心潛在因素，建構(gòu)符合現(xiàn)實情況的評分者影響因素評價體系。
　　其次，本研究通過模擬研究的形式對嵌套設(shè)計下的主觀題評分者效應(yīng)進行了研究。在模擬研究中，比較了評分結(jié)果是標準正態(tài)數(shù)據(jù)和上截尾數(shù)據(jù)時，評分者對評分結(jié)

3、果的影響機制。結(jié)果發(fā)現(xiàn)，使用多水平隨機系數(shù)模型(MRCM)對模擬數(shù)據(jù)進行分析是合理且適當?shù)?。在兩種數(shù)據(jù)形態(tài)下，評分者整體上都存在寬大效應(yīng)誤差，但是，當評分結(jié)果是上截尾數(shù)據(jù)時，評分者水平的整體影響較大。另外，在兩種數(shù)據(jù)形態(tài)下，評分者水平的四個影響因素也都存在寬大效應(yīng)偏差。
　　最后，通過實證研究的形式對主觀題評分者效應(yīng)進行了探討，以供實際應(yīng)用者參考。在實證研究中，用14名評分者對552名學(xué)生的某一道論述題進行了評分，形成學(xué)生嵌套與評