具有高階診斷能力的RUM模型性能評價研究.pdf

1、認知診斷評估是一種基于認知心理學(xué)并結(jié)合現(xiàn)代測量學(xué)的方法，旨在探索人類在特定領(lǐng)域的潛在認知過程和認知結(jié)構(gòu)的測驗形式。認知診斷模型內(nèi)含一個簡單或復(fù)雜的導(dǎo)入結(jié)構(gòu)，是概率性的、驗證性的多維潛在變量模型。這種模型適用于對可觀察分類反應(yīng)變量和不可觀察的（如，潛在的）分類預(yù)測變量進行建模。要實現(xiàn)認知診斷的功能必須選擇一個合適的認知診斷模型。在現(xiàn)有的上百種認知診斷模型中，RUM模型被譽為一個成功的認知診斷模型，因而被廣泛應(yīng)用。隨后不少心理測量學(xué)家以RU

2、M模型為基礎(chǔ)，對其進行改良。其中HO-sRUM模型與RUM模型最為相似，兩者都對高階能力進行了診斷。在這兩種模型中，最大的不同在于RUM模型的高階能力是基于項目，而HO-sRUM模型的高階能力是基于認知屬性，顯然在認知診斷測驗中項目的個數(shù)明顯多于屬性的個數(shù)（一般為3倍左右）。因而使用RUM模型對認知診斷測驗進行分析時會獲得比較詳盡的關(guān)于項目質(zhì)量的信息，但同時也會由于需要識別的參數(shù)過多而帶來識別困難。HO-sRUM模型雖然提供的項目質(zhì)量的

3、參數(shù)不如前者詳細，但由于模型較前者精簡，因而在參數(shù)識別過程中較前者有優(yōu)勢。因此對于測驗使用者如何去選擇一個合適的、性能好的、精度高的模型來服務(wù)于測驗則是本研究想給予解答的問題，為使用者提供模型選擇的依據(jù)。
　　 本研究通過模擬實驗和實證實驗對HO-sRUM模型和RUM模型性能進評價。其中模擬實驗包含三個子研究:(1) RUM模型與HO-sRUM模型性能評價;(2) RUM模型與HO-sRUM模型容錯性評價;(3)(p)ci(θj

4、)參數(shù)一致性程度對HO-sRUM模型估計性能影響評價。實證研究則使用HO-sRUM模型和RUM模型對真實的數(shù)據(jù)進行診斷，根據(jù)診斷的質(zhì)量評價兩個模型的性能。模擬研究部分分為三個子研究，在子研究一中RUM模型和HO-sRUM模型對其生成的數(shù)據(jù)進行估計，其項目參數(shù)估計結(jié)果準(zhǔn)確性較高，質(zhì)量較好。但兩個模型對被試參數(shù)中的能力參數(shù)估計結(jié)果不如項目參數(shù)的理想，特別是RUM模型。在子研究二中將RUM模型和HO-sRUM模型獨立生成的數(shù)據(jù)交換模型進行估計

5、，既可以判斷模型的容錯性也可以佐證當(dāng)RUM模型演變成HO-sRUM模型時結(jié)構(gòu)的改變?yōu)槟Ｐ妥R別帶來什么樣的后果。其實驗結(jié)果表明在RUM模型和HO-sRUM模型中當(dāng)生成模型與估計模型不一致的情況下，對模型的項目參數(shù)r*的估計影響較大，使其估計的精確性大大降低。而對另一項目參數(shù)π*、被試屬性掌握模式的邊際判準(zhǔn)率以及模式判準(zhǔn)率產(chǎn)生的影響不大，且兩個模型結(jié)構(gòu)穩(wěn)定。子研究三將從(p)ci(θj)結(jié)構(gòu)著手，探索(p)ci(θj)參數(shù)的一致性程度的高低

6、將為HO-sRUM模型的估計和識別帶來什么樣的影響。其結(jié)果顯示pci(θj)一致性程度高的樣本數(shù)據(jù)其使用HO-sRUM模型進行診斷估計的結(jié)果良好，無論是項目參數(shù)還是被試參數(shù)都與真值十分接近，偏差甚小。而(p)ci(θj)一致性程度低的情況下項目參數(shù)r*的估計偏差相對較大。這就進一步驗證了(p)ci(θj)對模型估計產(chǎn)生了一定的影響，特別是對于項目參數(shù)r*的估計。這個結(jié)論與ci參數(shù)的估計會為RUM模型中其他項目參數(shù)的識別帶來困難這一結(jié)論相

7、吻合(Hartz，2002)。
　　 為了獲取對模型的評價更充分的理據(jù)，實證研究部分使用RUM模型和HO-sRUM模型對實證的數(shù)據(jù)進行分析，并從模型數(shù)據(jù)所估計項目參數(shù)和屬性掌握模式的劃分的可靠性和準(zhǔn)確性對RUM模型和HO-sRUM模型診斷結(jié)果進行比較分析。研究的結(jié)果表明:1）對于RUM模型，在對無意義的項目參數(shù)進行刪減后，模型的總判準(zhǔn)率、一致性系數(shù)、重測信度等都相應(yīng)增加，這意味著刪減無意義屬性后模型診斷的質(zhì)量有所提高。2）RUM

8、模型和HO-sRUM模型在對無意義屬性進行刪減前后項目參數(shù)估計結(jié)果大致穩(wěn)定且一致。3）RUM模型的診斷中，大部分被試未能正確作答項目的原因是未掌握或掌握小于一般的作答項目所需要的項目屬性。4）將刪減部分屬性前后的RUM模型所估計的項目參數(shù)與HO-sRUM模型在刪減屬性前后的結(jié)果作比較，發(fā)現(xiàn)兩者的π*參數(shù)估計結(jié)果高度相關(guān)，而r*參數(shù)也存在顯著相關(guān)，但其相關(guān)程度不及π*參數(shù)顯著。5）在對RUM模型和HO-sRUM模型屬性掌握模式分類一致性研