基于Rasch模型的寫作測試評分員效應(yīng)研究——聚焦不同評分員背景群體的對比分析.pdf

1、寫作測試是語言應(yīng)用測試用于英語教學(xué)中最常見的測試之一，然而寫作測試評分的主觀性讓測試人員難以客觀準確測量出學(xué)生的寫作能力(Cho2003;何蓮珍等2008)。寫作測試中，評分員、寫作任務(wù)、評分標準等其他因素往往會導(dǎo)致考生分數(shù)的誤差變異，這些因素或獨立或交互的作用方式也增加了分數(shù)誤差來源的復(fù)雜性。由于主觀評分是寫作測試中的重要環(huán)節(jié)，評分員在評分過程中所表現(xiàn)的差異就成為能夠顯著影響評分結(jié)果的重要因素之一。McNamara(1996)指出，圍

2、繞評分員的一起變量均產(chǎn)生交互，從而帶來誤差，因而對評分誤差的研究從評分員自身得以延伸到評分員與其他變量的交互。McNamara(1996)指出，評分員的背景與評分結(jié)果顯著相關(guān)。然而，對于評分員的背景所帶來的評分員效應(yīng)和偏差模式的研究很少，所得出的結(jié)論也不一致。
　　本研究運用多面Rasch模型研究評分員在寫作評分中表現(xiàn)的評分員效應(yīng)，如寬嚴度、評分一致性等;同時從評分員背景出發(fā)，通過Rasch模型的偏差分析，研究不同性別和具有不同評

3、分經(jīng)驗的評分員在評卷過程中針對不同考生、不同評分維度所表現(xiàn)出的偏頗模式，并通過訪談深入具體的對評分過程進行定性分析，更進一步探討評分員性別和評分經(jīng)驗背景是否為產(chǎn)生評分系統(tǒng)誤差的根源。
　　本研究通過一次課堂寫作測驗，經(jīng)批改網(wǎng)收集了137份英語作文（7份用于寫作評分培訓(xùn)，130份用于實際數(shù)據(jù)分析），并邀請7位評分員進行評分。7位評分員在經(jīng)過統(tǒng)一的評分培訓(xùn)后，運用同一個寫作評分分項量表對130篇作文進行了評閱。該量表包含任務(wù)完成度、詞

4、匯、句法和銜接與連貫四個不同的維度。本研究將7位評分員根據(jù)其性別和評分經(jīng)驗的不同分為不同評分組別，運用Rasch模型對其評分結(jié)果進行了深入細致的研究和分析，得出以下結(jié)論:
　　1)七位評分員在評分過程中表現(xiàn)出顯著嚴厲度差異，或多或少顯示出隨機效應(yīng);評分員均呈現(xiàn)出良好的評分員間信度，除一位評分員外，其他評分員均表現(xiàn)出良好的自身一致性;未表現(xiàn)出顯著的趨中效應(yīng);
　　2)不同性別評分員表現(xiàn)出評分差異。男性評分員相比女性評分員評分更

5、為寬松，呈現(xiàn)出更高的評分一致性，但更容易產(chǎn)生集中趨勢;女性評分員評分更容易出現(xiàn)隨機效應(yīng)，也更容易產(chǎn)生評分偏頗;
　　3)不同性別評分員在與不同能力考生之間以及與不同評分維度之間產(chǎn)生不同的偏頗模式，但差異并不顯著，故性別因素不會引入系統(tǒng)性誤差。
　　4)不同評分經(jīng)驗評分員表現(xiàn)出評分差異。中手及老手評分員相比新手評分員評分更為寬松，呈現(xiàn)出更高的評分一致性，但更容易產(chǎn)生集中趨勢;新手評分員更容易出現(xiàn)隨機效應(yīng)，也更容易出現(xiàn)評分偏頗;

6、
　　5)不同評分經(jīng)驗評分員在與不同能力考生之間以及與不同評分維度之間產(chǎn)生不同的偏頗模式，差異顯著，呈現(xiàn)出系統(tǒng)的評分偏頗模式，即老手評分員對考生產(chǎn)生更為寬松的偏頗模式，新手呈現(xiàn)更嚴厲的偏頗模式;老手評分員對句法等語法類維度呈現(xiàn)嚴厲偏頗模式，新手對任務(wù)完成等內(nèi)容相關(guān)維度呈現(xiàn)嚴厲偏頗模式。經(jīng)卡方檢驗，差異顯著，故評分經(jīng)驗會引入系統(tǒng)誤差;
　　根據(jù)評分員的具體評分表現(xiàn)，本研究對如何提高并改善評分信度和評分質(zhì)量提出具體、有效的建議;