總評(píng)法與分項(xiàng)法的測(cè)試交互性——外語(yǔ)課堂寫(xiě)作測(cè)評(píng)方法成效對(duì)比研究.pdf

1、總評(píng)法與分項(xiàng)法是直接寫(xiě)作測(cè)試中最常見(jiàn)的評(píng)分方法。兩種方法各有長(zhǎng)短。在教學(xué)、研究中究竟選擇哪種方法一直是一個(gè)有爭(zhēng)議的問(wèn)題。解決選擇難題的一個(gè)合理辦法就是參照Bachman和Palmer1996年提出的“測(cè)試有用性”質(zhì)量系統(tǒng)(Weigle，2002)。測(cè)試有用性包括六種質(zhì)量指標(biāo)：信度、構(gòu)建效度、真實(shí)性、交互性、后效以及實(shí)用性等。選擇哪種評(píng)分方法不在于優(yōu)化每一種指標(biāo)，而在于根據(jù)特定測(cè)試語(yǔ)境，在六種質(zhì)量指標(biāo)之間取得適當(dāng)?shù)钠胶狻＿@六種質(zhì)量指標(biāo)有的

2、被廣泛研究或應(yīng)用于測(cè)試效度評(píng)估中，有的則不然。其中，以交互性的相關(guān)研究或應(yīng)用最為鮮見(jiàn)。因此，關(guān)于寫(xiě)作測(cè)試中評(píng)分法的測(cè)試交互性，我們只能推測(cè)：在考生知悉具體作文評(píng)分方法的條件下，他們與測(cè)試任務(wù)之間的交互作用可能會(huì)受到所選評(píng)分方法的影響。要回答這個(gè)問(wèn)題，必須在實(shí)證中尋求答案。此外，長(zhǎng)期以來(lái)，在寫(xiě)作教學(xué)、測(cè)試實(shí)證研究中普遍使用統(tǒng)計(jì)顯著性檢驗(yàn)，來(lái)分析數(shù)據(jù)、解釋結(jié)果。而顯著性表示的是研究本身的質(zhì)量而不是研究結(jié)果教育成效的意義。更可取的檢驗(yàn)方法是統(tǒng)

3、計(jì)顯著性加上效果量計(jì)算(Robinson和Wainer,2001)。 基于上述考慮，本文旨在選取與以前不同的角度——測(cè)試交互性——來(lái)比較總評(píng)法與分項(xiàng)法在外語(yǔ)(母語(yǔ)為漢語(yǔ))環(huán)境使用中的成效情況，采用教學(xué)干預(yù)、測(cè)量工具等手段來(lái)進(jìn)行研究。參與研究的被試均為一所綜合性大學(xué)的二年級(jí)學(xué)生；實(shí)驗(yàn)組(n=32)接受分項(xiàng)法作文評(píng)分，而控制組(n=25)接受總評(píng)法評(píng)分。研究問(wèn)題從測(cè)試交互性的四個(gè)組成部分來(lái)著手：學(xué)生作文在語(yǔ)言知識(shí)方面的表現(xiàn)(包括“結(jié)

4、構(gòu)”、“詞匯”和“語(yǔ)法”)、學(xué)生作文在話題知識(shí)方面的表現(xiàn)(即“內(nèi)容”)、學(xué)生對(duì)“情感投入問(wèn)卷”的應(yīng)答情況，以及學(xué)生對(duì)“修改問(wèn)卷”的應(yīng)答情況等。 基于教學(xué)的研究采用準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)，即非等值前測(cè)-后測(cè)控制組實(shí)驗(yàn)設(shè)計(jì)，來(lái)比較總評(píng)法、分項(xiàng)法的成效及相應(yīng)效果量。同時(shí)，在準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)中嵌入了重復(fù)測(cè)量設(shè)計(jì)，來(lái)檢查組內(nèi)前測(cè)、后測(cè)變化情況。整個(gè)測(cè)試設(shè)計(jì)是建立在教學(xué)設(shè)計(jì)的基礎(chǔ)之上，也是教學(xué)設(shè)計(jì)的核心。測(cè)試工具包括兩套評(píng)分法、五個(gè)寫(xiě)作問(wèn)題、“情感投入問(wèn)卷”

5、以及.“修改問(wèn)卷。”前兩種工具旨在探究學(xué)生在實(shí)驗(yàn)課前和實(shí)驗(yàn)課期間作文中的相關(guān)表現(xiàn)，而后兩種工具意在研析學(xué)生在寫(xiě)作中情感、修改策略的變化情況。 與測(cè)試交互性的組成成份相適應(yīng)，所收集的數(shù)據(jù)包括學(xué)生的作文成績(jī)和對(duì)兩種問(wèn)卷的應(yīng)答數(shù)值。其中，對(duì)學(xué)生的作文實(shí)施了雙人評(píng)分。數(shù)據(jù)分析分為兩個(gè)部分：組間分析與組內(nèi)分析，以前者為主。組間分析包括三個(gè)步驟：差異顯著性檢驗(yàn)、效果量計(jì)算以及統(tǒng)計(jì)檢定力分析。組間分析結(jié)果顯示，除了在“詞匯”、“語(yǔ)言知識(shí)(總體

6、)”方面與控制組沒(méi)有實(shí)質(zhì)差別以外，實(shí)驗(yàn)組在其他方面都有明顯的積極變化。具體結(jié)果如下：●語(yǔ)言知識(shí)：組間均分差為.67分(t=1.984，p＞.05)，效果量為.60，統(tǒng)計(jì)檢定力為.834◆結(jié)構(gòu)：組間均分差為.85分(t=2.105，p＜.05)，效果量為.64，統(tǒng)計(jì)檢定力為.850；◆詞匯：組間均分差為.45分(t=1.385，p＞.05)，效果量為.42，統(tǒng)計(jì)檢定力為.752；◆語(yǔ)法：組間均分差為.70分(t=2.097，p＜.05)，

7、效果量為.63，統(tǒng)計(jì)檢定力為.846； ●話題知識(shí)：組間均分差為.83分(t=2.402，p＜.05)，效果量為.73，統(tǒng)計(jì)檢定力為.881； ●情感反應(yīng)：組間均分差為9.01標(biāo)準(zhǔn)分(t=2.358，p＜.05)，效果量為.71，統(tǒng)計(jì)檢定力為.874； ●修改策略能力：組間均分差為7.74標(biāo)準(zhǔn)分(t=2.319，p＜.05)，效果量為.70，統(tǒng)計(jì)檢定力為.871。此外，組內(nèi)分析顯示兩組在各方面都有不同程度的提高。