多面rasch模型分析軟件facets在英語(yǔ)測(cè)試中的應(yīng)用

1、《中國(guó)英語(yǔ)教育》2009年第2期，總第24期EnglishEducationinChinaNumber220091多面Rh模型分析軟件Facets在英語(yǔ)測(cè)試中的應(yīng)用石志亮1，韓寶成2（1.中原工學(xué)院外語(yǔ)系，鄭州450007，河南；2.北京外國(guó)語(yǔ)大學(xué)中國(guó)外語(yǔ)教育研究中心，北京100089）提要：提要：提要：提要：本文闡釋了多面Rh模型的原理，并就其分析軟件Facets在國(guó)內(nèi)外英語(yǔ)測(cè)試中的研究現(xiàn)狀做了評(píng)述；然后，通過實(shí)例重點(diǎn)講述了如何運(yùn)用F

2、acets軟件進(jìn)行實(shí)驗(yàn)設(shè)計(jì)、編寫分析語(yǔ)句、運(yùn)行程序，以及如何從考生面、評(píng)分者面、評(píng)分標(biāo)準(zhǔn)面等對(duì)產(chǎn)生的圖表進(jìn)行解讀。關(guān)鍵詞：關(guān)鍵詞：關(guān)鍵詞：關(guān)鍵詞：多面Rh模型Facets英語(yǔ)測(cè)試；應(yīng)用中圖分類號(hào)：中圖分類號(hào)：中圖分類號(hào)：中圖分類號(hào)：H319H319H319H319文獻(xiàn)標(biāo)識(shí)碼：文獻(xiàn)標(biāo)識(shí)碼：文獻(xiàn)標(biāo)識(shí)碼：文獻(xiàn)標(biāo)識(shí)碼：AAAA1.1.1.1.多面多面RhRhRhRh模型的原理模型的原理Rh模型由丹麥數(shù)學(xué)家GegRh于1960年提出，它是項(xiàng)目反應(yīng)

3、理論（itemresponsetheyIRT）中最重要的模型。Rh模型根據(jù)被試回答問題的情況，通過對(duì)題目特征函數(shù)的運(yùn)算，來(lái)推測(cè)被試的能力。Rh模型超越了以往任何理論，它深入測(cè)驗(yàn)的微觀領(lǐng)域，將被試特質(zhì)水平與被試在項(xiàng)目上的行為關(guān)聯(lián)起來(lái)并且將其參數(shù)化、模型化，是通過統(tǒng)計(jì)調(diào)整控制誤差的最好方法；它把項(xiàng)目難度參數(shù)與能力參數(shù)定義在同一個(gè)量表上，在此模型分析中考生能力與試題參數(shù)完全獨(dú)立；它可以在無(wú)樣本的情況下對(duì)考生的真分?jǐn)?shù)或能力水平進(jìn)行估計(jì)(Bach

4、man1999)。另外，通過Rh模型測(cè)得的被試能力水平，可以精確估計(jì)其測(cè)量誤差。自Rh模型建立以來(lái)，許多學(xué)者試圖將模型改進(jìn)和推廣以適應(yīng)不同的情形。主要工作之一就是為模型添加參數(shù)（如，難度、區(qū)分度和猜測(cè)系數(shù)等），使模型與數(shù)據(jù)更加吻合，其中最為突出的是由芝加哥大學(xué)學(xué)者JohnMichaelLinacre于1989年提出的多面Rh模式(manyfacetRhmodel)。Rh模型是雙面（被試能力和試題難度）模型，也是單參數(shù)模型，對(duì)于項(xiàng)目只考慮

5、難度這一個(gè)參數(shù)（difficultyindex）；若對(duì)這一模型進(jìn)一步拓展，又考慮到區(qū)分度參數(shù)（discriminativepowderindex）時(shí)，它就是一個(gè)雙參數(shù)（三面）模型；三參數(shù)（四面）模型則又把猜測(cè)系數(shù)（guessingindex）也作為一個(gè)因素加以考慮。雙參數(shù)以上的Rh模型被稱為多面Rh模型。多面Rh模型繼承了Rh模型的特點(diǎn)并將此模型擴(kuò)展到包括更復(fù)雜測(cè)試條件的研究。多面Rh模型認(rèn)為測(cè)試結(jié)果除受被試能力和試題難度兩個(gè)面影響外，

6、還受更多個(gè)面，如評(píng)分員嚴(yán)厲程度等的影響。在測(cè)量分析中實(shí)際設(shè)定的面在數(shù)量上沒有特殊規(guī)定，研究者可以根據(jù)實(shí)際研究的目的確定面的數(shù)量。多面模型主要應(yīng)用于主觀性評(píng)價(jià)的客觀化分析，拓展了IRT理論在測(cè)評(píng)領(lǐng)域的應(yīng)用空間。多面Rh模型目前廣泛應(yīng)用在心理和教育測(cè)量領(lǐng)域，計(jì)算機(jī)自適應(yīng)測(cè)試（CAT）也是仰賴IRT的理論與技術(shù)。在英語(yǔ)主觀測(cè)試中，受評(píng)分員效應(yīng)等因素影響，主觀評(píng)分往往存在各種不一致性，從而導(dǎo)致主觀評(píng)分的信度降低。Bachman(1999)認(rèn)為，

7、測(cè)試分?jǐn)?shù)要想有效，首先必須是可靠的，即測(cè)試信度是效度的基礎(chǔ)。多面Rh模型提供的統(tǒng)計(jì)框架可以消除英語(yǔ)主觀測(cè)試評(píng)分中各個(gè)方面的因素對(duì)于評(píng)分結(jié)果的影響，從而提高評(píng)分結(jié)果的信度。因?yàn)槎嗝鍾h模型除了考生能力和試題難度兩個(gè)面以外，還將評(píng)分員以及評(píng)分量表等因素加入了模型，此外還能利用這一模型進(jìn)行偏差分析，這樣它不僅可以分析考生能力和試題難度不同所導(dǎo)致的差異，而且可以找出由其它因素導(dǎo)致的誤差來(lái)源，從而為考察評(píng)分員的評(píng)分信度提供參考(劉建達(dá)，2007)

8、。2222多面多面RhRhRhRh模型的研究現(xiàn)狀模型的研究現(xiàn)狀目前國(guó)內(nèi)外有關(guān)多面Rh模型在英語(yǔ)測(cè)試中的應(yīng)用研究起步較晚，有關(guān)的論文為數(shù)《中國(guó)英語(yǔ)教育》2009年第2期，總第24期EnglishEducationinChinaNumber220093分不穩(wěn)定，就要對(duì)評(píng)分員進(jìn)行有針對(duì)性的培訓(xùn)等。使用Facets軟件多是對(duì)評(píng)分員的評(píng)分結(jié)果（ratereffect)進(jìn)行檢驗(yàn)，下面就從這個(gè)方面探討一下該軟件的實(shí)際使用情況。3.2實(shí)例操作3.2.1

9、實(shí)驗(yàn)設(shè)計(jì)使用Facets軟件，首先要明確自己要研究什么，即先要做實(shí)驗(yàn)設(shè)計(jì)。比如，15個(gè)學(xué)生進(jìn)行口語(yǔ)決賽，由5位老師進(jìn)行評(píng)分，通過該軟件就可以檢驗(yàn)出：這5位老師的評(píng)分是否存在內(nèi)在的一致性，即他們是否都是合格的評(píng)分員。3.2.2分析語(yǔ)句編寫Facets軟件不像SPSS那樣可以直接導(dǎo)入數(shù)據(jù)，然后進(jìn)行運(yùn)算。它需要先編寫出分析語(yǔ)句（程序指令），然后，把編寫好的分析語(yǔ)句導(dǎo)入到Facets軟件中進(jìn)行運(yùn)算，通過分析運(yùn)算產(chǎn)生的圖表，我們就可以了解題目難度

10、如何，被試的能力水平怎樣，評(píng)分員是否合格等。Facets軟件的分析語(yǔ)句主要有兩部分構(gòu)成：即指令（specification）和數(shù)據(jù)（data）。指令是引導(dǎo)程序怎樣去分析處理數(shù)據(jù)的說(shuō)明性語(yǔ)句，大部分的指令都有規(guī)范的標(biāo)準(zhǔn)值，適合絕大多數(shù)研究的分析使用；數(shù)據(jù)就是定性的觀察數(shù)據(jù)。3.2.2.1指令編寫指令中的分析語(yǔ)句可以在記事本中自行編寫，也可以利用Facets自帶的模版（在“edit”菜單下的“editfromtemplate”中）做參照進(jìn)行

11、編寫。我們以Facets自帶的模版為例，講述一下指令編寫的步驟：首先點(diǎn)擊Facets軟件“edit”菜單下的“editfromtemplate”出現(xiàn)如下分析語(yǔ)句：Title=PuttheTableheadingtitlehereFacets=putnumberoffacetsherePositive=1listthepositivelyientedfacetshereNoncentered=1puttheone(usually)floa

12、tingfacethereVertical=putthecontrolfthe“rulers“inTable6hereifnotdefaultArrange=mNputthederfthemeasureTable7hereModels=...RputthemodelstatementfyourFacetshere.Labels=1nameoffacetone1=labeloffirstelementinfacetone2=2nameof

13、facettwo1=labeloffirstelementinfacettwodata=enterinfmat:elementnumberffacetoneelementnumberffacettwoobservation上面第1行的“Title”后面要寫上所做研究的題目是什么，比如，“speakingtest”等（指令為：Title=speakingtest）；第2行的Facets是指你的研究要設(shè)定的幾個(gè)面，比如，“examinees