A Study on Rater Bias Patterns in Rating CEPT Writing.pdf

1、為了對寫作分項評分和整體評分進行進一步研究,檢驗其信度及評分偏差,本文主要通過項目反映理論及分析工具Facets對分項評分和整體評分進行信度以及偏差分析,并總結(jié)評分員在對各個評分項目以及不同水平考生評分時表現(xiàn)出的偏差規(guī)律。其中,整體評分表現(xiàn)作為參照,將分項評分的各個維度的評分信度進行比較。
　　研究步驟分為以下三步:1.對已有成績的寫作樣本分層抽樣,從高到低10個級別的300份作文;2.15位有足夠評分經(jīng)驗并有代表性的評分員完成對

2、300篇作文的整體和分項2組評分實驗;3.對測試結(jié)果進行初步檢驗,進而進行多側(cè)面分析,檢驗評分信度并總結(jié)評分特點及規(guī)律。
　　研究結(jié)果顯示:(1)兩組評分具有相似的寬嚴度水平,分項總分的寬嚴度與整體評分十分接近并且其偏差水平最低,15位評分員的內(nèi)部一致性都較好,評分員9號,12號和10號顯示出相對明顯的趨中趨勢;(2)“分項總分”只與15號評分員有一組顯著性寬松偏差,10號評分員只對“語法”存在顯著性寬松偏差,評分維度中“標點和大

3、小寫”與“任務(wù)”的顯著性偏差方向相反,“整體評分”與“任務(wù)”偏差方向相同;(3)顯著性寬松偏差明顯多于顯著性嚴格偏差,評分員更容易對高水平考生產(chǎn)生顯著性偏差,且呈現(xiàn)出對高水平學(xué)生更寬松和對低水平學(xué)生更嚴格傾向,1號評分員評不同水平作文不存在顯著性偏差,2號評分員的顯著性嚴格偏差多于寬松偏差,不同于其他評分員;(4)Facets能夠在探索系統(tǒng)性規(guī)律性偏差方面給出答案,并且結(jié)論有助于評分培訓(xùn)。
　　本研究結(jié)果表明在本研究樣本和對象的范