英語口語計算機(jī)輔助評分的監(jiān)控設(shè)計及其評分效度和信度研究.pdf

1、計算機(jī)測評系統(tǒng)中評分方式有兩種——計算機(jī)輔助評分和計算機(jī)自動化評分。通過調(diào)研和實驗測量發(fā)現(xiàn)計算機(jī)輔助評分在實踐應(yīng)用中存在諸如評分趨中、快速評分等評分缺陷;效度和信度是考試和教育心理測量質(zhì)量評價的基本要求，自動化評分雖然已經(jīng)投入實踐應(yīng)用，但其效度、信度是否滿足教育測量質(zhì)量評價的基本要求需實驗驗證。
　　 本文首先調(diào)研分析國內(nèi)外口語測評系統(tǒng)中評分缺陷，對作者所在單位和科大訊飛聯(lián)合研發(fā)的大學(xué)英語視聽說智能測試系統(tǒng)的評分缺陷做多維度預(yù)估

2、，其次設(shè)計教育實驗來驗證預(yù)估并發(fā)現(xiàn)新的評分缺陷，同時對參與實驗的師生進(jìn)行訪談?wù){(diào)研，依據(jù)實驗所獲得的有效數(shù)據(jù)與數(shù)據(jù)分析結(jié)果，從評分行為、評分方式和評分時間三個方面設(shè)計評分監(jiān)控，從而提高計算機(jī)英語口語測試的效度和信度。再次對系統(tǒng)自動化評分和教育測量理論進(jìn)行調(diào)研分析，設(shè)計英語口考試卷并完成實驗，通過對實驗數(shù)據(jù)的經(jīng)典信度分析和經(jīng)典校標(biāo)效度分析，驗證大學(xué)英語視聽說智能測試系統(tǒng)實踐應(yīng)用的可行性。
　　 研究結(jié)果表明:(1)快速評分現(xiàn)象普遍，

3、實驗和師生訪談結(jié)果表明以錄音時間上下浮動1/4，評分的平均時間和口語答題時間一致。(2)評分持續(xù)時間低于3小時，評分過程不存在疲勞評分。(3)拖動滾動條現(xiàn)象伴隨大幅度拖動和反復(fù)性拖動行為，滾動條的拖動幅度在1/3總時間以內(nèi)，拖動次數(shù)在3次以內(nèi)。(4)訪談結(jié)果表明按比例抽取復(fù)評可提高評分效度和信度，兩位老師評分的方式需要改進(jìn)。(5)評分中有參考前題成績評分、反復(fù)性修改成績、先評分后聽錄音、不聽錄音直接評分現(xiàn)象，有多個小題的題型更容易出現(xiàn)該