英語寫作測試中的評分者效應(yīng)：整體評分和分項評分對比研究.pdf

1、評分標(biāo)準(zhǔn)類型例如整體評分、分項評分，以及評分者效應(yīng)例如評分者嚴(yán)厲程度、內(nèi)在一致性、偏頗性能夠影響評分的過程，從而影響根據(jù)分?jǐn)?shù)推斷寫作能力的適切性。
　　 本文通過比較整體評分和分項評分，探討了評分類型以及評分者效應(yīng)(即，嚴(yán)厲程度、內(nèi)在一致性、偏頗性)對寫作評分過程及其結(jié)果的影響。本文結(jié)果對評分方法選擇，評分者培訓(xùn)，評分執(zhí)行的啟示，有助于英語作文評分的改進。
　　 共有四位評分者參加了實驗，在評分前，對評分者進行了訓(xùn)練，每

2、個評分者先后在每次評分中，批閱了21篇相同考生的作文。然后，運用社會科學(xué)統(tǒng)計軟件和多面測量軟件對評分結(jié)果進行分析。
　　 統(tǒng)計分析顯示，整體評分中，評分者間無顯著相關(guān)性，但平均分基本一致；分項評分中，評分者間的相關(guān)性較高，但其中一位的平均分和其他人有差異；兩次評分的相關(guān)性較高，但在平均分上整體評分要比分項評分明顯要低很多。
　　 多面測量分析顯示，在兩次評分中，評分者嚴(yán)厲程度都有顯著差異，但內(nèi)在一致性都較高，評分者—考生

3、之間、評分者—評分項之間存在偏頗，且分項評分中更顯著。
　　 本文可得如下結(jié)論：1)分項評分較比整體評分更有助于評分的一致性，在信度上具備優(yōu)勢。尤其當(dāng)評分者經(jīng)驗不足或類型不同時，為使評分有信度，采用分項評分標(biāo)準(zhǔn)更加合適；(2)在能夠保證評分者都是有經(jīng)驗的前提下，在大型測試中，更適合采用整體評分方法；(3)無論采用哪種評分方法，都應(yīng)該對評分者效應(yīng)，即嚴(yán)厲程度、內(nèi)在一致性，偏頗性進行監(jiān)控，多面測量軟件就是有效監(jiān)控手段之一，其目的在于