元評價方法及其在高等教育評估中的應(yīng)用研究.pdf

1、評價既是為決策提供依據(jù)和支持的工具，也是診斷、鑒定、激勵和監(jiān)控的重要管理手段。隨著評價工作在教育、科技、工程、經(jīng)濟等領(lǐng)域的廣泛開展，并取得顯著成效的同時，評價方法及其結(jié)論也不斷受到質(zhì)疑，評價方法的科學性、評價結(jié)果的客觀性也越來越受到人們的關(guān)注。 盡管學者們提出了元評價的思想，通過對評價(包括結(jié)構(gòu)、過程和結(jié)果)的評價，分析評價中可能存在的偏差，以修正評價方案、提高評價的信度和效度。但是關(guān)于元評價方法的研究成果卻并不多，在評價實踐中

2、也往往難以有效地實施元評價。如何有效地組織和實施元評價、元評價的方法及其技術(shù)等問題都還有待于進一步的研究。 本文的主要工作有： 1、比較系統(tǒng)地建立了元評價的方法及其技術(shù)，比較全面地研究了教育評價中的敏感性問題 盡管元評價的本質(zhì)也是一種評價，因此元評價的方法可以一定程度地借鑒評價的方法。但是元評價畢竟與評價存在根本的區(qū)別，例如評價的對象是評價客體，而元評價的對象是原來的評價；評價注重評價方案的設(shè)計和組織實施，而元評

3、價更側(cè)重于驗證評價的正確性和評價結(jié)果的科學性等。 本文正是從元評價的角度，主要以高等教育評估項目為實例和背景，比較系統(tǒng)地建立了以內(nèi)容分析法為主要手段、定性分析和定量分析相結(jié)合的元評價的方法及其技術(shù)，即對評價指標體系的建立、主觀指標的價值評判、評價數(shù)據(jù)的預處理、多指標數(shù)據(jù)合成、群體評判結(jié)果的綜合處理等評價過程中的各個步驟和環(huán)節(jié)逐一進行剖析，研究和分析其中影響評價結(jié)果科學性的因素。如此系統(tǒng)地研究元評價的方法及其技術(shù)，這在國內(nèi)還未見報

4、道。 第二章研究評價指標體系的科學性。評價指標體系刻畫了評價客體的主要特征，同時也體現(xiàn)了評價的目的和導向，因此，保證評價指標體系的科學性是評價取得成功的核心和關(guān)鍵。本章在討論評價指標體系的結(jié)構(gòu)和構(gòu)建原則的基礎(chǔ)上，分析了評價指標的類型，并提出了一種特殊的、但往往被忽略的指標類型：開關(guān)型指標。最后，以學科評估為實例，對評價指標體系中各項指標的區(qū)分性、相關(guān)性和相對重要性等性能進行了定量和定性分析。 第三章研究影響指標屬性值的因

5、素。指標的屬性值體現(xiàn)了評價客體某方面的價值，確定指標的屬性值，即價值評判，是評價中的一個重要環(huán)節(jié)，而且評價中存在許多因素會導致價值評判結(jié)果的隨意性和偶然性。本章對各種可能影響價值評判的因素，如評價客體信息的采集方法及可靠性、評判人的組成結(jié)構(gòu)和規(guī)模、評判人的遴選方式、評判方式和評判環(huán)境等，都作了比較詳盡的研究和分析，并對教育評價提出了一些有利于提高價值評判客觀性的措施。 第四章研究指標屬性值的預處理。對不同類型和不同性態(tài)的指標的屬

6、性值，選用不同的效用函數(shù)轉(zhuǎn)換為標準化的相對價值，必然導致評價結(jié)果的敏感性，并且這種敏感性往往是不易察覺的。本章討論了各種效用函數(shù)，如線性效用函數(shù)、非線性效用函數(shù)、基于統(tǒng)計分析的效用函數(shù)等的性能特點，分析了各種效用函數(shù)的優(yōu)缺點和適用條件，并歸納了選用效用函數(shù)的注意事項。 第五章研究多指標數(shù)據(jù)的合成模型。在多指標綜合評價中，必然需要將各項指標的標準化相對價值，按照一定的數(shù)學模型合成為評價客體的整體價值。本章分析了常用的加法合成模型和

7、乘法合成模型的性能特點和適用場合，并以教育評價的實例說明不同評價模型對評價結(jié)果的敏感性。而且，鑒于目前模糊綜合評價法的廣泛使用，本章也討論和分析了模糊綜合評價法中如果處理不當、將會得出不恰當?shù)脑u價結(jié)果的一些細節(jié)，如合成算子的選用、評價結(jié)果向量的理解等。 第六章研究群體評判的質(zhì)量及數(shù)據(jù)綜合方法。在多位評判人完成對同一評價客體的價值評判時，每位評判人給出的評判結(jié)果具有一定的隨機性和偶然性。本章分析了群體評判結(jié)果中每位評判人的評判質(zhì)量

8、和所有評判人的意見一致程度，并討論了常用群體評判結(jié)果綜合方法的特點和適用范圍，提出了基于評判準確度的群體評判結(jié)果綜合方法。最后，還改進了定性指標群體評判結(jié)果的統(tǒng)計方法。 第七章給出了一個元評價方法在高等教育評估中的應(yīng)用實例，對全國優(yōu)秀博士學位論文評選的省級初選工作的評價方案和評價結(jié)果進行了分析和修正，并以實踐結(jié)果表明經(jīng)過元評價的省級初選工作取得了較好的效果。 2、提出以工程化方法開展評價的思想 隨著評價的大型化和

9、復雜化，評價必然是大規(guī)模人員的分工協(xié)作過程，而且勢必面臨質(zhì)量無法保證、進度難以控制、成本急劇增長等問題。因此，借鑒“軟件工程”的成功經(jīng)驗，把評價當作一項工程，以工程化的思想指導、規(guī)范和管理評價的開展，提出“評價工程”的概念，這在國內(nèi)還未見報道。 第八章按照評價工程的思想，首先指出工程化的質(zhì)量、進度和投資三大控制目標，并概括了工程化方法中的“六個化”原則，即規(guī)范化、文檔化、模塊化、信息化、工具化和復審化。然后，借鑒軟件工程的思想，

10、提出評價活動生命周期的概念，將評價活動分為分析、設(shè)計和實施等階段，并在每一個階段按照“六個化”原則組織實施，以保證評價的質(zhì)量、縮短評價的周期和降低評價的成本。最后，借鑒程序測試理論，提出了基于黑箱測試的元評價方法，以查找評價中的偏差和分析評價的質(zhì)量。 本文的創(chuàng)新點在于： 1、比較系統(tǒng)地建立了元評價的方法及其技術(shù)，比較全面地研究了教育評價中的敏感性問題，彌補了目前文獻中關(guān)于元評價的方法及其技術(shù)研究不多這種比較零散、片面的不

11、足，對于完善元評價的技術(shù)資源、指導元評價的開展實施具有實際意義。 2、在群體評判結(jié)果的質(zhì)量及數(shù)據(jù)綜合方法研究中，分析了目前教育評價中經(jīng)常采用的中間平均法的缺陷和不適用原因，并根據(jù)中間平均法的基本思想，進一步拓展和細化，提出了基于價值評判準確度的加權(quán)平均法。 3、借鑒“軟件工程”的成功經(jīng)驗，提出了“評價工程”的思想，以工程化的方法指導、規(guī)范和管理大型化、復雜化的評價工作的開展和實施。而且，借鑒程序測試理論，提出了一種新的元