層級一致性指標的多級評分拓展.pdf

1、認知診斷評估(Cognitive Diagnosis Assessment，CDA)以反應學生認知過程的認知模型為基礎，對個體的認知過程、知識結構進行診斷評估。CDA中認知模型準確、合理至關重要，直接影響認知診斷的準確性。目前，關于認知模型合理性驗證的指標均針對0-1計分數據，而面對多級計分測驗情境，研究者往往將其轉換為0-1計分，這會損失部分信息造成對認知模型不精確的評價。據此，本研究將0-1計分層級一致性指標(Hierarchy C

2、onsistency Index，HCI)拓展為多級計分層級一致性指標(GeneralizedHierarchy Consistency Index，GHCI)，并探討了GHCI的穩(wěn)定性與精確性。
　　研究分為5個子研究。研究1拓展了層級一致性指標，并針對不同得分情況說明GHCI的可行性、采用具體例子說明GHCI特點。研究2通過模擬研究將GHCI、不同轉換比例下的HCI進行比較，并說明HCI在多級計分中隨轉換比例的變化。研究3通過

3、模擬研究探討GHCI對不同層級結構錯誤（錯層、顛倒、有變無、無變有）的靈敏性。研究4通過模擬研究探討GHCI對被試不同類型異常反應的靈敏性。研究5采用GHCI分析小學數學應用題問題解決中認知模型的合理性并檢測異常反應被試，以說明GHCI在教育實踐中的適用性。具體研究結果如下:
　　(1)本研究對GHCI的拓展是可行的、合理的。GHCI針對多級計分的不同得分情況是可行的，可用于混合計分數據。GHCI較HCI具有一定的優(yōu)勢，對被試反應

4、的評價更細致和準確。
　　(2)對各屬性層級結構下多級計分數據的模擬中，GHCI均值顯著大于各種轉換比例下的HCI均值，HCI低估了被試數據與認知模型的一致性。HCI受到轉換比例的影響。隨轉換比例的提高，不同屬性層級結構中HCI變化情況各不相同。
　　(3) GHCI對層級關系錯誤具有靈敏性。針對不同類型的層級關系錯誤，GHCI均表現出隨著錯誤程度的加深，其均值的降幅逐漸增大。GHCI對不同類型的層級關系錯誤的靈敏性不同:在

5、層級關系錯層、屬性顛倒、層級關系無變有的誤設中GHCI均值隨著誤設程度的加深，降幅明顯增加;在層級關系有變無中GHCI均值降幅均較小，對其靈敏性較其他類型層級關系錯誤較差。
　　(4) GHCI、HCI對異常反應的靈敏性各有優(yōu)勢。GHCI對創(chuàng)造性反應的檢出率更高，HCI對層級結構錯誤造成的異常反應的檢出率更高。GHCI、HCI的檢出率均隨著測驗長度的增加而上升。GHCI、HCI對創(chuàng)造性反應上檢出率隨區(qū)分度的降低逐漸下降，對層級錯誤

6、造成的異常反應的檢出率隨區(qū)分度的降低，在不同項目個數中變化趨勢各不相同。
　　(5)實證研究中，小學數學應用題問題解決的GHCI均值為.757，大于其截斷值，驗證了該層級結構合理，能夠反應學生應用題問題解決的認知規(guī)律。作為個人擬合指標，GHCI的截斷值波動范圍較小，更穩(wěn)定。GHCI、HCI檢出的異常反應被試各不相同。
　　(6)實證研究中HCI隨轉換比例的增大，其均值逐漸下降。GHCI顯著大于100％轉換比例下HCI。HCI