中國臨床醫(yī)師資格考試實(shí)證效度的初步研究.pdf

1、臨床醫(yī)師資格考試作為行業(yè)準(zhǔn)入考試，是對(duì)執(zhí)業(yè)醫(yī)師臨床思維過程和實(shí)際工作能力的綜合評(píng)價(jià)?？荚嚤仨毦哂休^高的信度和效度，才能準(zhǔn)確地反映所要測(cè)量研究對(duì)象所具有的知識(shí)和技能。在觀察考試的效度時(shí)我們不僅應(yīng)看到分?jǐn)?shù)本身的可靠性，也應(yīng)該考慮研究對(duì)象在考試中的表現(xiàn)與其在其他情境下(現(xiàn)實(shí)工作中)表現(xiàn)的關(guān)系。 臨床醫(yī)師資格考試的實(shí)證效度(Demonstrative Validity，或Empirical Validity)研究，重要的是確定實(shí)證效度的

2、效標(biāo)。考試成績效度高低的評(píng)判標(biāo)準(zhǔn)，可以是其它相關(guān)考試的成績，也可以是研究對(duì)象在實(shí)踐中的表現(xiàn)。通過比較臨床醫(yī)師資格考試成績與另一種時(shí)間相近、內(nèi)容和結(jié)構(gòu)相似的考試成績，分析兩者的共時(shí)效度。比如參加臨床醫(yī)師資格考試的研究對(duì)象在比較短的時(shí)間內(nèi)又參加了其它與臨床醫(yī)師資格考試相似的理論與實(shí)踐考試。如果兩次考試成績的一致性較高，則證明兩者的效度都高。反之，兩次考試成績的一致性較低，而又無法判定作為效標(biāo)的考試是否具有理想的考試信度和效度時(shí)，就需要進(jìn)行進(jìn)

3、一步研究。臨床醫(yī)師資格考試是評(píng)價(jià)、選拔和任用執(zhí)業(yè)醫(yī)師的重要考試，其考試成績應(yīng)該很好的預(yù)測(cè)研究對(duì)象在實(shí)踐中的表現(xiàn)，同樣研究對(duì)象的工作表現(xiàn)也應(yīng)該和臨床醫(yī)師資格考試的成績相一致，這樣的考試才具有理想的效度。觀察所要研究的對(duì)象，即剛剛參加臨床醫(yī)師資格考試或即將參加臨床醫(yī)師資格考試的醫(yī)務(wù)人員。對(duì)于他們?cè)卺t(yī)療工作中的表現(xiàn)進(jìn)行評(píng)價(jià)，評(píng)價(jià)內(nèi)容包括病人的處理、病志記錄等，采用自我評(píng)價(jià)、患者評(píng)價(jià)、同行和上級(jí)醫(yī)師評(píng)價(jià)、其他團(tuán)隊(duì)成員或組織的評(píng)價(jià)等方法，收集這些

4、信息。研究對(duì)象在這些工作中表現(xiàn)出來的專業(yè)知識(shí)和技能正是臨床醫(yī)師資格考試所要評(píng)價(jià)的，因此是研究臨床醫(yī)師資格考試效度的客觀、真實(shí)的效標(biāo)。實(shí)證效度的研究主要是通過確定的效標(biāo)與考試成績相比較，分析研究醫(yī)師考試的效度，因此又被稱為效標(biāo)關(guān)聯(lián)效度(Criterion—related Validity)。要建立一個(gè)標(biāo)準(zhǔn)化考試，實(shí)證效度是重要的檢驗(yàn)手段。 國外開展了關(guān)于醫(yī)學(xué)考試的實(shí)證效度研究。而國內(nèi)在醫(yī)學(xué)考試方面開展的研究集中在考試的分類、試題編

5、制和分析、考務(wù)管理、題庫建設(shè)和考試數(shù)據(jù)的分析評(píng)價(jià)方面，形成了完整的理論體系，促進(jìn)了醫(yī)學(xué)考試質(zhì)量的提高。但對(duì)醫(yī)學(xué)考試的實(shí)證研究不多，現(xiàn)有的一些也只是對(duì)學(xué)校內(nèi)的考試進(jìn)行預(yù)測(cè)研究，所得出的結(jié)論主要服務(wù)于教學(xué)，較少有文獻(xiàn)報(bào)導(dǎo)，相關(guān)的實(shí)證研究資料沒有系統(tǒng)地收集整理。對(duì)臨床醫(yī)師資格考試的實(shí)證研究工作還沒有開展，不能從實(shí)踐角度進(jìn)行分析和評(píng)價(jià)。從實(shí)證角度開展對(duì)臨床醫(yī)師資格考試的研究，建立實(shí)證效度研究的完善方法和理論十分必要。 本研究從客觀實(shí)踐角

6、度評(píng)價(jià)臨床醫(yī)師資格考試結(jié)果反映真實(shí)情況的程度。通過收集并分析實(shí)證性資料，以研究對(duì)象的其他實(shí)際表現(xiàn)(工作或其它考試)為效標(biāo)評(píng)價(jià)臨床醫(yī)師資格考試的效度，從而促進(jìn)臨床醫(yī)師資格考試的完善和提高。 對(duì)象與方法: 對(duì)象：以中國醫(yī)科大學(xué)2007級(jí)60名本科學(xué)歷住院醫(yī)師為研究對(duì)象，專業(yè)包括內(nèi)科，外科、婦科、兒科，附屬一院22人，附屬盛京醫(yī)院31人，附屬四院7人；其中男生29名，女生31名。方法：1、根據(jù)臨床專業(yè)執(zhí)業(yè)臨床醫(yī)師資格考試的內(nèi)容

7、、方式和技術(shù)特點(diǎn)，在臨床醫(yī)師資格考試之后較短的時(shí)間內(nèi)，組織參加研究的考生進(jìn)行一次理論考試和OSCE，作為與臨床醫(yī)師資格考試的對(duì)照考試。比較臨床醫(yī)師資格考試成績同這些考試成績的一致性程度，進(jìn)行分析研究。2、收集研究對(duì)象本科期間的畢業(yè)考試成績，將其作為效標(biāo)與臨床醫(yī)師資格考試成績做效標(biāo)關(guān)聯(lián)效度分析。3、臨床專業(yè)臨床醫(yī)師資格考試實(shí)證效度資料的收集。觀察參加考試考生在工作中的表現(xiàn)，整理平時(shí)科室考核和患者反饋資料，進(jìn)行自我評(píng)價(jià)、患者評(píng)價(jià)、同行評(píng)價(jià)和

8、其他評(píng)價(jià)，對(duì)他們的職業(yè)精神、專業(yè)知識(shí)和技能進(jìn)行評(píng)定，并采用綜合評(píng)價(jià)方法進(jìn)行量化分級(jí)。使用統(tǒng)計(jì)學(xué)方法計(jì)算臨床醫(yī)師資格考試成績與考生工作表現(xiàn)的關(guān)系，并嘗試分析執(zhí)業(yè)醫(yī)師臨床工作中的表現(xiàn)對(duì)臨床醫(yī)師資格考試成績的預(yù)測(cè)能力。 結(jié)果: 一、年度考核基本情況 年度考核理論考試部分信度為0.803，以研究對(duì)象畢業(yè)考試中理論綜合考試成績作為效標(biāo)，得到效度為0.495。這次理論考試的平均分為31.3，標(biāo)準(zhǔn)差為3.215。且男女性別之間

9、成績比較差異不顯著，各個(gè)醫(yī)院之間成績也差異不顯著。 年度考核技能考試部分平均分為30.5，標(biāo)準(zhǔn)差為3.215。經(jīng)統(tǒng)計(jì)分析，發(fā)現(xiàn)病例組合信度介于0.483到0.843之間。平均難度系數(shù)為0.57，病例難度較高。平均區(qū)分度為0.45，說明大多數(shù)病例的區(qū)分度較好。 二、臨床醫(yī)師資格考試實(shí)證效度的分析 臨床醫(yī)師資格考試與年度考核理論部分在總成績、基礎(chǔ)知識(shí)部分的成績、專業(yè)知識(shí)部分及公共知識(shí)部分的成績均相關(guān)。認(rèn)知分級(jí)的角度考

10、量的結(jié)果顯示，三個(gè)認(rèn)知分級(jí)的層次上，臨床醫(yī)師資格考試與年度考核均相關(guān)顯著。與年度考核的技能考試部分的相關(guān)具有顯著的統(tǒng)計(jì)學(xué)意義。與畢業(yè)考試從理論考試、OSCE考試方面均具有相關(guān)性。逐步回歸分析顯示年度考核中的基礎(chǔ)知識(shí)部分和專業(yè)知識(shí)部分對(duì)于臨床醫(yī)師資格考試的影響較大。日常工作表現(xiàn)計(jì)量評(píng)分的相關(guān)性分析顯示臨床醫(yī)師資格考試的成績與研究對(duì)象日常工作中的表現(xiàn)相關(guān)性不顯著。未能證實(shí)臨床醫(yī)師資格考試對(duì)研究對(duì)象在日常工作中表現(xiàn)的反映性。 討論:

11、 一、年度考核的信度與難度、區(qū)分度的分析 (一)年度考核的信度 年度考核的的可靠性較好，信度系數(shù)是0.803可以認(rèn)為信度較好。很多研究對(duì)象在應(yīng)試后反映本次年度考核試題具有一定的難度，從測(cè)試結(jié)果反應(yīng)可見，平均成績僅為61.86，及格率僅為67％。這相對(duì)于同組研究對(duì)象的臨床醫(yī)師資格考試通過率95％是存在一定差異。說明考試的難度大影響了考試信度。 (二)SP考試的病例難度與區(qū)分度 年度考核中的標(biāo)準(zhǔn)化病人考

12、試的平均難度是0.57，從效標(biāo)考試的7個(gè)病例中共有5個(gè)的區(qū)分度系數(shù)在0.30以上，可以認(rèn)為該病例的質(zhì)量好。 二、臨床醫(yī)師資格考試的實(shí)證效度分析 (一)臨床醫(yī)師資格考試的表面效度 表面效度是指從外表看就可以明白考試是要測(cè)量什么。鑒于考生對(duì)考試的認(rèn)可和接受程度，以及積極的態(tài)度參與臨床醫(yī)師資格考試考試，可以認(rèn)為本次考試的表面效度較好 (二)臨床醫(yī)師資格考試的內(nèi)容效度 臨床醫(yī)師資格考試考核考生的臨床能力范

13、圍比較全面，基本能代表臨床訓(xùn)練的特定目標(biāo)，可以作為評(píng)定個(gè)人臨床能力成績的一部分標(biāo)準(zhǔn)。由于目前關(guān)于內(nèi)容效度的估計(jì)尚無恰當(dāng)?shù)挠?jì)算方法，所以通過專家判斷法定性地推測(cè)該項(xiàng)考試的內(nèi)容效度。 (三)臨床醫(yī)師資格考試的實(shí)證效度 最后的分析結(jié)果也顯示臨床醫(yī)師資格考試與年度考核從理論試題的絕大多數(shù)考核部分及認(rèn)知分級(jí)方面均顯著相關(guān)性，同時(shí)技能考核方面也顯著相關(guān)。而公共試題方面由于需要覆蓋的內(nèi)容較多，同時(shí)題量較少等客觀因素的影響，相關(guān)性不是很

14、高。 預(yù)測(cè)效度的評(píng)估以研究對(duì)象的畢業(yè)考試作為預(yù)測(cè)效度的效標(biāo)，分析得到兩個(gè)考試的相關(guān)性顯著，更加能夠證明臨床醫(yī)師資格考試的效度及信度的良好。同時(shí)以研究對(duì)象日常工作表現(xiàn)的計(jì)量評(píng)分為效標(biāo)，無法證明臨床醫(yī)師資格考試與研究對(duì)象日常表現(xiàn)的相關(guān)性。 (四)臨床醫(yī)師資格考試實(shí)證性方面尚待解決的問題 研究對(duì)象的臨床醫(yī)師資格考試成績與其日常表現(xiàn)的相關(guān)性不顯著，也在一定程度上說明，臨床醫(yī)師資格考試注重對(duì)于考生臨床基礎(chǔ)及專業(yè)知識(shí)的掌握程

15、度的考查，而缺乏對(duì)于醫(yī)學(xué)職業(yè)價(jià)值、態(tài)度、行為和倫理，群體健康和衛(wèi)生系統(tǒng)、交流技能、批判性思維和研究等領(lǐng)域的考查。 結(jié)論: 一、本次年度考核評(píng)價(jià)結(jié)果是可靠而有效的。 二、中國醫(yī)科大學(xué)07屆內(nèi)外婦兒住院醫(yī)師年度考核評(píng)價(jià)與本次臨床醫(yī)師資格考試相關(guān)性較好。 三、研究對(duì)象的畢業(yè)綜合考試成績與臨床醫(yī)師資格考試的相關(guān)性較好。 四、研究對(duì)象的日常工作表現(xiàn)評(píng)價(jià)與臨床醫(yī)師資格考試的相關(guān)性無統(tǒng)計(jì)學(xué)意義，有待進(jìn)一步研究。