調(diào)查問(wèn)卷的信度與效度

1、調(diào)查問(wèn)卷的設(shè)計(jì),,,,問(wèn)卷的定義與作用,詢問(wèn)目標(biāo),應(yīng)答者的信息,問(wèn)卷,,,,訪問(wèn)實(shí)施,,數(shù)據(jù)采集和錄入,,數(shù)據(jù)處理,,數(shù)據(jù)分析,調(diào)研結(jié)果,,,建議,問(wèn)卷的作用 在需要對(duì)受訪人進(jìn)行詢問(wèn)的市場(chǎng)調(diào)研中：提供了標(biāo)準(zhǔn)化和統(tǒng)一化的數(shù)據(jù)收集程序保證每個(gè)受訪者看到或聽到相同的文字和問(wèn)題保證訪問(wèn)人員的問(wèn)題詢問(wèn)一致……,,問(wèn)卷在詢問(wèn)調(diào)研過(guò)程中起到了非常重要的翻譯作用，是關(guān)鍵工具。,如何進(jìn)行問(wèn)卷設(shè)計(jì),,,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方

2、面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（1）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,調(diào)研需求一般來(lái)自市場(chǎng)部經(jīng)理、品牌經(jīng)理或新產(chǎn)品開發(fā)部門，因?yàn)樵跊Q策過(guò)程中所需信息不足而發(fā)起。調(diào)研目的要提供委托方的所需的市場(chǎng)信息，幫助他們解答市場(chǎng)疑惑。因此，前期的溝通要充分、問(wèn)題確認(rèn)清晰。,調(diào)研目標(biāo)確認(rèn)后，要考慮從誰(shuí)那里獲得數(shù)據(jù)。也就是要明確訪問(wèn)的對(duì)象，不同的訪問(wèn)對(duì)象回答哪些不同的問(wèn)題。,調(diào)研

3、局限包括來(lái)自被訪者、訪問(wèn)員、預(yù)算、時(shí)間等。,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（1）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,調(diào)研需求一般來(lái)自市場(chǎng)部經(jīng)理、品牌經(jīng)理或新產(chǎn)品開發(fā)部門，因?yàn)樵跊Q策過(guò)程中所需信息不足而發(fā)起。調(diào)研目的要提供委托方的所需的市場(chǎng)信息，幫助他們解答市場(chǎng)疑惑。因此，前期的溝通要充分、問(wèn)題確認(rèn)清晰。,調(diào)研目標(biāo)確認(rèn)后，

4、要考慮從誰(shuí)那里獲得數(shù)據(jù)。也就是要明確訪問(wèn)的對(duì)象，不同的訪問(wèn)對(duì)象回答哪些不同的問(wèn)題。,調(diào)研局限包括來(lái)自被訪者、訪問(wèn)員、預(yù)算、時(shí)間等。,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（2）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,面訪,電話訪問(wèn),街頭攔截,定點(diǎn)攔截,入戶訪問(wèn),深度訪問(wèn),神秘顧客訪問(wèn),,不同類型的訪問(wèn)方法對(duì)應(yīng)的問(wèn)卷形式有很大差異,實(shí)

5、施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（3）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,開放題開放式問(wèn)題的作用詢問(wèn)原因描述感受補(bǔ)充 開放式問(wèn)題的提問(wèn)規(guī)范追問(wèn)（三次）逐字記錄歸類和編碼,封閉題 封閉題的作用 了解不同類型的分布 找到主要特征 量化程度和評(píng)價(jià) 封閉題的提問(wèn)規(guī)范 避免引導(dǎo) 選項(xiàng)要盡量全面 描述簡(jiǎn)單

6、清晰 單選和多選的設(shè)計(jì)要慎重,,優(yōu)點(diǎn)：信息豐富封閉題的補(bǔ)充了解受訪者的真實(shí)反應(yīng),缺點(diǎn)：不容易處理編碼費(fèi)時(shí)費(fèi)力容易受訪問(wèn)人員的影響容易忽略內(nèi)向的受訪者,,優(yōu)點(diǎn)：操作方便，便于數(shù)據(jù)處理無(wú)傾向，不受被訪問(wèn)人的性格影響不受訪問(wèn)人員的影響,缺點(diǎn)：必須進(jìn)行預(yù)先的研究選項(xiàng)范圍的確定容易產(chǎn)生次序誤差訪問(wèn)程序要規(guī)范必須對(duì)訪問(wèn)人員培訓(xùn),實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排

7、,問(wèn)卷設(shè)計(jì)過(guò)程（4）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,1.用詞必須清楚 說(shuō)明調(diào)查 描述清晰，統(tǒng)一的基準(zhǔn)和指代，不要使被訪問(wèn)人的回答建立在他自己的理解之上 避免專業(yè)詞匯 每個(gè)受訪問(wèn)人代表獨(dú)立的參考構(gòu)架 避免一個(gè)句子中出現(xiàn)兩種以上的問(wèn)題,2.避免引導(dǎo)式的問(wèn)題,3.考慮被訪問(wèn)人的回答能力 認(rèn)知和感受的關(guān)聯(lián) 記憶內(nèi)容和時(shí)間效應(yīng),4.考慮被訪問(wèn)人的回答意愿 第三人稱方式提問(wèn) 對(duì)等誤差

8、表達(dá),實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（5）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,1.甄別部分,2.以非敏感、并能引起興趣的問(wèn)題開始,3.先問(wèn)一般問(wèn)題,4.需要思考的問(wèn)題放中間,5.敏感問(wèn)題放在主體問(wèn)卷的后面,6.人口統(tǒng)計(jì)學(xué)信息,,主體問(wèn)卷 邏輯關(guān)系 不同類型用戶的區(qū)分 跳轉(zhuǎn)提示,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各

9、相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（6）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,1.問(wèn)卷時(shí)間是否過(guò)長(zhǎng) 面訪控制在30分鐘以內(nèi) 電話訪問(wèn)控制在15分鐘以內(nèi) 深度訪問(wèn)控制在1小時(shí)左右,2.是否回答了研究目標(biāo)所需的問(wèn)題，問(wèn)題是否必要,3.不同類型問(wèn)卷的形式和外觀面訪：提示卡電話訪問(wèn)：訪問(wèn)員注意事項(xiàng)和CATI用問(wèn)卷的形式要強(qiáng)調(diào)跳轉(zhuǎn)關(guān)系深度訪問(wèn)中問(wèn)卷的樣式不重要，

10、對(duì)于訪問(wèn)人員的要求很高,4.敏感問(wèn)題放在主體問(wèn)卷的后面,4.問(wèn)卷樣式要統(tǒng)一公司標(biāo)志，封面統(tǒng)一的格式字體字號(hào)的一致選擇項(xiàng)不要跨兩個(gè)頁(yè)面著重標(biāo)志,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（6）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷

11、設(shè)計(jì)過(guò)程（6）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（6）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（7）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確定數(shù)

12、據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,內(nèi)部確認(rèn)，獲得其他同事的意見和建議 委托方確認(rèn)，獲得客戶的反饋，必要的時(shí)候進(jìn)行講解,試訪和修訂研究員親自試訪問(wèn)，獲得親身體會(huì)執(zhí)行人員對(duì)于陌生受訪者的訪問(wèn)，獲得現(xiàn)場(chǎng)實(shí)施方面的反饋意見時(shí)間和預(yù)算允許的范圍內(nèi)，最好進(jìn)行預(yù)調(diào)研，了解全面實(shí)施后的總體情況,實(shí)施,準(zhǔn)備問(wèn)卷,預(yù)先測(cè)試及修訂,獲得各相關(guān)方面的認(rèn)可,評(píng)價(jià)問(wèn)卷和編排,確定問(wèn)卷的流程和編排,問(wèn)卷設(shè)計(jì)過(guò)程（8）,確定問(wèn)題的用詞,確定問(wèn)題回答形式,確

13、定數(shù)據(jù)收集方法,確定調(diào)研目的、來(lái)源和局限,問(wèn)卷的印刷或編程 調(diào)研實(shí)施調(diào)研說(shuō)明：給代理公司明確的項(xiàng)目調(diào)研目的，配額，時(shí)間，訪問(wèn)條件，抽樣說(shuō)明，訪問(wèn)要求等文字化的說(shuō)明訪問(wèn)員培訓(xùn)說(shuō)明：訪談要點(diǎn)，接觸方式，配額，工作記錄表（接觸情況，復(fù)核情況）通話記錄,培訓(xùn)可能會(huì)占用你一些的時(shí)間和精力，但是想要調(diào)研的準(zhǔn)確和真實(shí)，對(duì)于訪問(wèn)實(shí)施相關(guān)方面的培訓(xùn)必不可少！,,一、 Questionnaire Validity 二、 Example of

14、 Validity 三、 Questionnaire Reliability 四、 Example of Reliability 五、 The correlation between Reliability and Validity,Main Content,1.誤差公理,誤差(error)是指對(duì)事物某一特征的度量值偏離真實(shí)值的部分，即測(cè)定值與真實(shí)值之差，樣本統(tǒng)計(jì)量與總體參數(shù)之差。

15、 沒有一項(xiàng)研究推論能夠達(dá)到百分之百的真實(shí)。 No study is free of errors, the inferences are never perfectly valid. 誤差公理：實(shí)驗(yàn)結(jié)果都會(huì)有誤差，誤差自始至終存在于一切科學(xué)實(shí)驗(yàn)的過(guò)程之中。,2.誤差的種類(types of error),,（1）隨機(jī)誤差（random error） 隨機(jī)誤差是由不確定原因引起的，不可避免和消除。 其偏離總體的方向不能確定

16、。包括隨機(jī)測(cè)量誤差和抽樣誤差。,,隨機(jī)測(cè)量誤差（random measurement error） ：沒有固定的傾向，可使多次觀測(cè)結(jié)果有大有小。 抽樣誤差（sample error） ：由于抽樣造成的樣本指標(biāo)與總體指標(biāo)之間的差別。,（2）系統(tǒng)誤差（systematic error）,是由于偏倚（使研究結(jié)果按照一個(gè)方向偏離總體， bias）產(chǎn)生的錯(cuò)誤結(jié)果，可校正和消除。,(3) 過(guò)失誤差（gross error)是由于科研設(shè)計(jì)錯(cuò)誤，

17、或?qū)嶒?yàn)者的主觀片面、粗心大意引起的誤差。必須避免和剔除！,問(wèn)卷測(cè)驗(yàn)中測(cè)量誤差通常來(lái)源于兩個(gè)方面： 一是產(chǎn)生于問(wèn)卷測(cè)驗(yàn)過(guò)程中的誤差，稱為測(cè)量誤差（measurement Error），也稱為隨機(jī)誤差（random error）； 二是由問(wèn)卷的結(jié)構(gòu)質(zhì)量造成的誤差，稱為系統(tǒng)誤差（system Error）。measurement Error reliabilitysystem Error

18、 validity,,,一、調(diào)查問(wèn)卷的效度,The validity of a questionnaire,The validity of measures,The question of validity is how far can we be sure that a measure really does reflect the concept to which it is supposed to be refe

19、rring.,,效度（validity）通常是指問(wèn)卷的有效性和正確性，亦即問(wèn)卷能夠測(cè)量出其所欲測(cè)量特性的程度。 對(duì)于一個(gè)標(biāo)準(zhǔn)測(cè)驗(yàn)來(lái)說(shuō)，效度比信度更為重要。,,1.效度分析的意義,效度是問(wèn)卷調(diào)查研究中最重要的特征，問(wèn)卷調(diào)查的目的就是要獲得高效度的測(cè)量與結(jié)論，效度越高表示該問(wèn)卷測(cè)驗(yàn)的結(jié)果所能代表要測(cè)驗(yàn)的行為的真實(shí)度越高，越能夠達(dá)到問(wèn)卷測(cè)驗(yàn)?zāi)康?，該?wèn)卷才正確而有效。 問(wèn)卷的準(zhǔn)確性或稱為有效性是用問(wèn)卷的效度加以刻劃的，它反映了對(duì)

20、問(wèn)卷的系統(tǒng)誤差的控制程度。,2、效度的定義,效度是指問(wèn)卷測(cè)驗(yàn)的準(zhǔn)確性，即測(cè)驗(yàn)?zāi)軌蚍从乘獪y(cè)量特性的程度. 其包括兩個(gè)方面的含義：一是問(wèn)卷測(cè)驗(yàn)的目的；二是問(wèn)卷對(duì)測(cè)量目標(biāo)的測(cè)量精確度和真實(shí)性。效度是一個(gè)具有相對(duì)性、連續(xù)性、間接性的概念。,,在測(cè)量理論中，效度被定義為在一系列測(cè)量中，與測(cè)量目的有關(guān)的真變異數(shù) ( 即有效變異 ) 與總變異數(shù)之比：,,r2xy 表示測(cè)量的效度系數(shù)，Sv2 代表有效變異數(shù)，Sx2 代表總變異數(shù)。,3.常

21、用的效度指標(biāo),確定一個(gè)問(wèn)卷效度的方法，通常是以答卷者的問(wèn)卷得分和另一個(gè)效度標(biāo)準(zhǔn)求相關(guān)，以其相關(guān)系數(shù)的大小來(lái)表示效度。如果相關(guān)系數(shù)高，則該問(wèn)卷的效度就高。 一般常用的效度指標(biāo)有內(nèi)容效度、結(jié)構(gòu)效度。,(1)內(nèi)容效度 (content validity),內(nèi)容效度是指問(wèn)卷內(nèi)容的貼切性（relevance）和代表性（representativeness）,即問(wèn)卷內(nèi)容能否反應(yīng)所要測(cè)量的特質(zhì)，能否達(dá)到測(cè)驗(yàn)?zāi)康?，較好地代表所欲測(cè)量的內(nèi)容和

22、引起預(yù)期反應(yīng)的程度。內(nèi)容效度常以題目分布的合理性來(lái)判斷，屬于命題的邏輯分析，所以，內(nèi)容效度也稱為“邏輯效度” (logical validity)、“內(nèi)在效度（intrinsic Validity）”、“循環(huán)效度（circular validity）”。,,內(nèi)容效度的評(píng)價(jià)主要通過(guò)經(jīng)驗(yàn)判斷進(jìn)行，通?？紤]3方面的問(wèn)題： 其一是項(xiàng)目所測(cè)量的是否真屬于應(yīng)測(cè)量的領(lǐng)域； 其二是測(cè)驗(yàn)所包含的項(xiàng)目是否覆蓋了應(yīng)測(cè)領(lǐng)域的各個(gè)方面；

23、其三是測(cè)驗(yàn)題目的構(gòu)成比例是否恰當(dāng)。,,常用的內(nèi)容效度的評(píng)價(jià)方法有兩種： 一是專家法，即請(qǐng)有關(guān)專家對(duì)問(wèn)卷題目與原來(lái)的內(nèi)容范圍是否符合進(jìn)行分析,作出判斷，看問(wèn)卷題目是否較好地代表了原來(lái)的內(nèi)容。 二是統(tǒng)計(jì)分析法，即從同一內(nèi)容總體中抽取兩套問(wèn)卷，分別對(duì)同一組答卷者進(jìn)行測(cè)驗(yàn), 兩種問(wèn)卷的相關(guān)系數(shù)就可用來(lái)估計(jì)問(wèn)卷的內(nèi)容效度。 計(jì)算某個(gè)問(wèn)題與去掉此問(wèn)題后總得分的相關(guān)性情況，分析是否需要被剔除（敏感性分析）。,(2)結(jié)構(gòu)效度(C

24、onstruct Validity),結(jié)構(gòu)效度又稱構(gòu)想效度，是指問(wèn)卷對(duì)某一理論概念或特質(zhì)測(cè)量的程度，即某問(wèn)卷測(cè)驗(yàn)的實(shí)際得分能解釋某一特質(zhì)的程度。如果我們根據(jù)理論的假設(shè)結(jié)構(gòu)，通過(guò)問(wèn)卷測(cè)驗(yàn)得到答卷者實(shí)際分?jǐn)?shù)，經(jīng)統(tǒng)計(jì)檢驗(yàn)，結(jié)果表明問(wèn)卷能有效解釋答卷者該項(xiàng)特質(zhì)，則說(shuō)此問(wèn)卷具有良好的結(jié)構(gòu)效度。,常用的確定結(jié)構(gòu)效度的方法有：,(1)根據(jù)文獻(xiàn)、前人研究結(jié)果、實(shí)際經(jīng)驗(yàn)等建 立假設(shè)性理論建構(gòu)；(2)對(duì)問(wèn)卷題目進(jìn)行分析。主要是分析問(wèn)卷的

25、 內(nèi)容，答卷者對(duì)題目所作的反應(yīng)，問(wèn)卷題 目的同質(zhì)性以及分項(xiàng)目之間的關(guān)系來(lái)判斷 問(wèn)卷的結(jié)構(gòu)效度；(3)根據(jù)建構(gòu)的假設(shè)性理論編制適當(dāng)?shù)膯?wèn)卷；(4)計(jì)算與同類權(quán)威問(wèn)卷的相關(guān);(5)以統(tǒng)計(jì)檢驗(yàn)的實(shí)證方法去考查問(wèn)卷是否能 有效解釋所欲建構(gòu)的特質(zhì)。,3．效標(biāo)效度（Criterion Validity）,效標(biāo)效度也稱為準(zhǔn)則關(guān)聯(lián)效度（Criterion-Related Validity）、經(jīng)驗(yàn)效度（Empirical Val

26、idity）、統(tǒng)計(jì)效度（Statistical Validity）。效標(biāo)效度是說(shuō)明問(wèn)卷得分與某種外部準(zhǔn)則（效標(biāo)）間的關(guān)聯(lián)程度，用問(wèn)卷測(cè)量得分與效度準(zhǔn)則之間的相關(guān)系數(shù)表示。,一般估計(jì)效標(biāo)效度的主要方法有：,（1）相關(guān)法，即求某問(wèn)卷分?jǐn)?shù)與效標(biāo)間的相關(guān)，所得結(jié)果即效標(biāo)效度。（2）區(qū)分法，即看問(wèn)卷分?jǐn)?shù)是否可以區(qū)分由效標(biāo)所劃分的團(tuán)體。 可以運(yùn)用t檢驗(yàn)對(duì)先后兩次問(wèn)卷結(jié)果平均分?jǐn)?shù)進(jìn)行差異性檢驗(yàn)。若差異有統(tǒng)計(jì)學(xué)意義，說(shuō)明問(wèn)卷是有效的；若差異無(wú)統(tǒng)

27、計(jì)學(xué)意義，說(shuō)明問(wèn)卷是無(wú)效的。,(4)判別效度（Discriminant Validity）,判別效標(biāo)也稱為辨別效標(biāo)，是指運(yùn)用相同的問(wèn)卷測(cè)定不同特質(zhì)和內(nèi)涵，測(cè)量結(jié)果之間不應(yīng)有太大的相關(guān)性。,(5)聚合效度（Convergent Validity）,聚合效度也稱為收斂效度，是指運(yùn)用不同測(cè)量方法測(cè)定同一特質(zhì)所得結(jié)果的相似程度，即對(duì)同一特質(zhì)的兩種或多種測(cè)定方法間應(yīng)有較高的相關(guān)性。,6.效度的評(píng)價(jià),Spitzer認(rèn)為如果滿足以下5個(gè)條件就可以認(rèn)為

28、問(wèn)卷由效：.（1）問(wèn)卷有內(nèi)容效度和結(jié)構(gòu)效度；（2）在問(wèn)卷制定階段應(yīng)當(dāng)請(qǐng)有關(guān)人員提出意見，供修正和提高內(nèi)容效度；（3）問(wèn)卷經(jīng)過(guò)反復(fù)使用證明了其可靠性；（4）如果有金標(biāo)準(zhǔn)存在，應(yīng)以金標(biāo)準(zhǔn)為準(zhǔn)；（5）無(wú)金標(biāo)準(zhǔn)時(shí)可由判別效度代替。,7.提高問(wèn)卷效度的方法,（1）理論正確，解釋清楚。問(wèn)卷內(nèi)容要適合問(wèn)卷測(cè)驗(yàn)的目的，題目要清楚明了，易于理解，問(wèn)卷的排列要由易到難，題目的難度和區(qū)分度要合適；（2）操作規(guī)范以減少誤差；（3）控制系統(tǒng)誤差。它主要

29、包括儀器不準(zhǔn)，題目和指導(dǎo)語(yǔ)有暗示性，答案安排不當(dāng)(被試可以猜測(cè))等, 控制這些因素可以降低系統(tǒng)誤差, 提高效度；,,（4）樣本適宜且要預(yù)防流失。重視問(wèn)卷調(diào)查的回收率。樣本容量一般不應(yīng)低于30；（5）適當(dāng)增加問(wèn)卷的長(zhǎng)度。增加問(wèn)卷的長(zhǎng)度既可提高問(wèn)卷的信度，也可以提高問(wèn)卷的效度，但增加問(wèn)卷的長(zhǎng)度對(duì)信度的影響大于對(duì)效度的影響；（6）排除無(wú)關(guān)因素干擾。認(rèn)清并排除足以混淆或威脅結(jié)論的無(wú)關(guān)干擾變量。,,二、效度分析實(shí)例(example),,,例2

30、 對(duì)例1中的問(wèn)卷測(cè)驗(yàn)結(jié)果進(jìn)行效度分析,1．問(wèn)卷的敏感性（可靠性）分析,（1）操作過(guò)程從菜單選擇Analyze → Scale → Reliability Analysis…→ Item（輸入問(wèn)卷的各條目或各因子包含的條目）→ 單擊“Statistics”按鈕，彈出信度分析統(tǒng)計(jì)量對(duì)話框 → Descriptives for: → √ Scale if item deleted →OK,,,,Scale if item delet

31、ed:去掉當(dāng)前題目整個(gè)問(wèn)卷的描述統(tǒng)計(jì)量，即敏感性分析，包括以下內(nèi)容：Scale Mean if Item Deleted:去掉當(dāng)前題目問(wèn)卷合計(jì)分的均數(shù)；Scale Variance if Item Deleted: 去掉當(dāng)前題目問(wèn)卷合計(jì)分的方差；Corrected Item-Total Correlation: 當(dāng)前題目得分與去掉當(dāng)前題目問(wèn)卷合計(jì)分的Pearson相關(guān)系數(shù)；Squared Multiple Correlation:

32、以當(dāng)前題目為因變量，其它所有題目為自變量求得的決定系數(shù)R2；Alpha if Item Deleted: 去掉當(dāng)前題目后問(wèn)卷的Cronbach α系數(shù)。,（2）輸出結(jié)果,SCL90各條目的敏感性分析結(jié)果:Item Scale Scale Corrected Mean Variance Item- Al

33、pha if Item if Item Total if Item Deleted Deleted Correlation DeletedA1 31.7250 1272.7173 0.6397 0.9736E2

34、 31.7500 1253.6282 0.8027 0.9732B3 31.8250 1261.0712 0.7408 0.9734A4 31.7500 1259.7821 0.7557 0.9733D5 31.7000 1278

35、.2667 0.3872 0.9740C6 31.8250 1300.0455 0.0596 0.9745I7 31.9000 1279.0667 0.5320 0.9737H8 31.5750 1255.1224 0.7590

36、 0.9733B9 31.2750 1259.2301 0.6572 0.9735…………………………………………………………………..E86 31.1750 1272.8147 0.3764 0.9742I87 31.9250 1277.1481 0.6

37、231 0.9736I88 32.0500 1282.9718 0.6057 0.9737J89 32.2000 1304.1641 0.0000 0.9741I90 32.1750 1302.7122 0.1250 0.9741,,

38、一般地，在做問(wèn)卷的敏感性分析時(shí)，可以將“Alpha if Item Deleted”值，作為調(diào)整題目的一個(gè)重要參考依據(jù)。 如果“Alpha if Item Deleted”值越大，其相對(duì)應(yīng)的題目越應(yīng)是首先考慮調(diào)整的題目。從本次問(wèn)卷結(jié)果敏感性分析可以看出，量表的各個(gè)題目的“Alpha if Item Deleted”值均在0.97左右變化，且變化的幅度很小。所以，就 “Alpha if Item Deleted”值這項(xiàng)指標(biāo)看量表各題

39、目均可以保留，無(wú)需調(diào)整。這個(gè)結(jié)果可能與研究者所采用的SCL-90輛標(biāo)是一個(gè)經(jīng)典量表有關(guān)。,,,摘 要 目的：探討調(diào)查問(wèn)卷的可靠性。方法：對(duì)武警十五支隊(duì)201名戰(zhàn)士，作心理衛(wèi)生自評(píng)90項(xiàng)調(diào)查問(wèn)卷資料，利用SAS軟件編程，計(jì)算Alpha可靠性系數(shù)，進(jìn)行可靠性分析。結(jié)果：有6項(xiàng)被剔除達(dá)到要求后，α=0.973569，當(dāng)使用標(biāo)準(zhǔn)化數(shù)據(jù)時(shí)，α=0.974102。結(jié)論：利用可靠性分析，可以從調(diào)查問(wèn)卷表的數(shù)據(jù)中，提取真實(shí)的、可靠性的成分。,2．

40、問(wèn)卷的結(jié)構(gòu)效度的分析,問(wèn)卷的結(jié)構(gòu)效度的評(píng)價(jià)較為復(fù)雜，可用各個(gè)題目與量表各銀子的相關(guān)分析和因子分析方法來(lái)反映。（1）利用相關(guān)分析評(píng)價(jià)問(wèn)卷的結(jié)構(gòu)效度,從菜單選擇Analyze →Scale →Reliability Analysis…→Item(輸入問(wèn)卷的各條目或各因子包含的條目) →Statistics彈出信度分析統(tǒng)計(jì)量對(duì)話框 →Inter-Item → √ Correlations → OK,（2）利用因子分析評(píng)價(jià)問(wèn)卷的結(jié)構(gòu)效度,因

41、子分析不僅能夠評(píng)價(jià)量表結(jié)構(gòu)的相合性，還可以用共性變異（共性方差）與總變異之比作為結(jié)構(gòu)效度的衡量指標(biāo)。結(jié)構(gòu)效度的分析最好使用證實(shí)性因子分析，它較探索性因子分析更能說(shuō)明問(wèn)題。,執(zhí)行Analyze → Data Reduction → Factor … ,彈出“Factor Analysis”對(duì)話框: 單擊Descriptives…→ Statistics → √ Initial Solution → Correlation Matri

42、x → √ KMO and Bartlett’s test of sphericity → Continue,,三、調(diào)查問(wèn)卷的信度 Questionnaire Reliability,1.信度分析的意義,信度主要是指問(wèn)卷是否精準(zhǔn)(precision)。信度分析涉及了問(wèn)卷測(cè)驗(yàn)結(jié)果的一致性和穩(wěn)定性，其目的是如何控制和減少隨機(jī)誤差。,The reliability of measures,The question of reliabil

43、ity is to what extent does an indicator measure the same thing consistently: i.e. will people answer the same question in the same way on different occasion?,,調(diào)查問(wèn)卷的信度包含兩層含義：,一是相同的個(gè)體在不同時(shí)間，以相同的問(wèn)卷測(cè)驗(yàn)，或以復(fù)本測(cè)驗(yàn)，或在不同的情景下測(cè)驗(yàn)，是否能得到相

44、同的結(jié)果，即問(wèn)卷測(cè)驗(yàn)結(jié)果是否隨時(shí)間和地點(diǎn)等因素而變化； 二是能否減少隨機(jī)誤差對(duì)問(wèn)卷測(cè)驗(yàn)結(jié)果的影響，從而能夠反映問(wèn)卷所要測(cè)量的真實(shí)情況，即問(wèn)卷測(cè)驗(yàn)結(jié)果是否具有穩(wěn)定性、可靠性和可預(yù)測(cè)性。一個(gè)好的問(wèn)卷必須是穩(wěn)定可靠的，且多次問(wèn)卷測(cè)驗(yàn)結(jié)果應(yīng)前后一致。,2.信度的定義,信度是用估計(jì)測(cè)量誤差大小的尺度，來(lái)說(shuō)明問(wèn)卷測(cè)驗(yàn)結(jié)果中測(cè)量誤差所占的比率。 信度可定義為真實(shí)分?jǐn)?shù)(true score)的方差與測(cè)驗(yàn)實(shí)得分?jǐn)?shù)(observed sco

45、re) 的方差之比，當(dāng)實(shí)得分?jǐn)?shù)變異可以全部由真實(shí)分?jǐn)?shù)的變異解釋時(shí)，測(cè)驗(yàn)誤差就是0，這時(shí)問(wèn)卷測(cè)驗(yàn)的信度為1。,,若用表示問(wèn)卷測(cè)驗(yàn)的信度，理論應(yīng)有 或 式中 表示真實(shí)分?jǐn)?shù)的方差； 表示實(shí)得分?jǐn)?shù)的方差； 表示誤差的方差。,,,,,,3.信度的分類,信度研究的是問(wèn)卷測(cè)驗(yàn)結(jié)果的可靠性與穩(wěn)定性，可以從不同的角度來(lái)評(píng)價(jià)：（1）在相同條件下所得問(wèn)卷測(cè)驗(yàn)結(jié)果的一致程度；（2）不同研究

46、者用同一種問(wèn)卷同時(shí)測(cè)驗(yàn)所得結(jié)果的一致程度；（3）同一研究者用同一種問(wèn)卷在不同時(shí)間內(nèi)測(cè)驗(yàn)所得結(jié)果的一致程度。,4.常用的信度系數(shù),（1）重測(cè)信度(test-retest reliability) 假定短時(shí)間內(nèi)一批對(duì)象的狀況并沒有改變，對(duì)每個(gè)對(duì)象用同一個(gè)問(wèn)卷先后測(cè)驗(yàn)兩次，兩次測(cè)驗(yàn)得分的相關(guān)系數(shù)就稱為重測(cè)信度。重測(cè)信度是用皮爾遜積差相關(guān)系數(shù)r公式計(jì)算的。,重測(cè)信度也存在著局限性：,間隔時(shí)間長(zhǎng)，環(huán)境影響； 如果間隔時(shí)間短，記憶影

47、響。,(2)復(fù)本信度（alternate form reliability）,復(fù)本通常是根據(jù)相同的設(shè)計(jì)說(shuō)明分別獨(dú)立編制的兩個(gè)平行問(wèn)卷，即題目不同但是內(nèi)容相似的兩份問(wèn)卷。復(fù)本信度也叫等值性系數(shù)（coefficient of equivalence）。兩個(gè)復(fù)本間隔一定時(shí)間或同時(shí)施于同一答卷者所得分?jǐn)?shù)的相關(guān)系數(shù)就是復(fù)本信度。,,缺點(diǎn)： 如復(fù)本編制不容易，易出現(xiàn)順序效應(yīng)，受練習(xí)的影響； 復(fù)本信度只能反應(yīng)問(wèn)卷內(nèi)容所造成的誤差，

48、無(wú)法反應(yīng)答卷者本身所造成的誤差等。,(3)分半信度(split-half reliability),當(dāng)測(cè)驗(yàn)沒有復(fù)本且測(cè)驗(yàn)不可避免地受到時(shí)間的影響，只適合用于一次測(cè)驗(yàn)時(shí)，可用分半信度。 分半的方法很多，一般是將奇數(shù)題和偶數(shù)題各作為一半，而非前后分半，目的是避免順序效應(yīng)。分半信度也叫折半信度，其計(jì)算方法是將問(wèn)卷的題目分成對(duì)等的兩半，分別求出兩半題目的總分，再計(jì)算兩部分總分的相關(guān)系數(shù)。,,使用分半信度時(shí)要注意兩個(gè)問(wèn)題： 一

49、是問(wèn)卷題目所測(cè)的應(yīng)是同一種特質(zhì)； 二是兩半題目應(yīng)是等值的。對(duì)問(wèn)卷題目進(jìn)行分半會(huì)造成了對(duì)整個(gè)問(wèn)卷信度的低估，為此需要對(duì)分半信度進(jìn)行校正，其校正公式為斯皮爾曼-布朗(Spearman — Brown)公式：,,,為分半信度,表示兩半題目各自得分和之相關(guān)系數(shù)，n為原問(wèn)卷相對(duì)于變化后問(wèn)卷長(zhǎng)度的倍數(shù)，計(jì)算分半信度時(shí)n=2。,,Spearman — Brown公式要求兩個(gè)分半表的信度和方差均滿足齊性； Guttman: Guttman分半信

50、度，可不滿 足上述要求,(4)庫(kù)得─理查森信度 (Kuder ─ Richardson),庫(kù)德-理查森信度適用于計(jì)算“對(duì)或錯(cuò)”的是非題的同質(zhì)性信度，其是計(jì)算所有可能的分半信度的平均數(shù)。 最有代表性的計(jì)算公式是庫(kù)德-理查森公式:,,式中n為問(wèn)卷包含的題目數(shù).,為問(wèn)卷測(cè)驗(yàn)總得分的方差，pi表示答對(duì)該題的人數(shù)占總答卷人數(shù)的比例，pi可視為該題的難度，qi=1-pi 。,(5)克隆巴赫信度系數(shù) (cronbach’s α),Cron

51、bach’s α系數(shù)是Cronbach于1951年創(chuàng)立的，用于評(píng)價(jià)問(wèn)卷的內(nèi)部一致性。α系數(shù)取值在0到1之間，α系數(shù)越高，信度越高，問(wèn)卷的內(nèi)部一致性越好。Cronbach’s α系數(shù)不僅適用于兩級(jí)記分的問(wèn)卷，還適用于多級(jí)計(jì)分的問(wèn)卷。,Cronbach’s α信度,Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometr

52、ika. 16, 297-334. It is a measure of squared correlation between observed scores and true scores. Put another way, reliability is measured in terms of the ratio of true score variance to observed score variance.,其計(jì)算公式為：

53、,,式中n為問(wèn)卷包含的題目數(shù)，,為答卷者在第i題得分的方差，,為答卷者問(wèn)卷測(cè)驗(yàn)總得分的方差。,,α系數(shù)有以下性質(zhì)：（1）α系數(shù)是所有可能的分半信度的平均值；（2）α系數(shù)是估計(jì)信度的最低限度；（3）當(dāng)問(wèn)卷計(jì)分為二分名義變量時(shí)，即答案為0或1，α系數(shù)與KR20值相同，即庫(kù)德-理查森信度公式是克隆巴赫的α系數(shù)的一個(gè)特例。,,低信度：α<0.35, 中信度： 0.35<α<0.70,高信度： 0.70<α 一

54、般地，問(wèn)卷的α系數(shù)在0.8以上該問(wèn)卷才具有使用價(jià)值。Cronbach‘s α值皆達(dá)0.85以上，表明問(wèn)卷信度良好。,(6)評(píng)分者信度（inter-scorer reliability）*,考察評(píng)分者信度的方法為，隨機(jī)抽取相當(dāng)份數(shù)的問(wèn)卷，由兩位評(píng)分者按記分規(guī)則分別給分；然后根據(jù)每份問(wèn)卷的分?jǐn)?shù)計(jì)算相關(guān)系數(shù)，就得到評(píng)分者信度。評(píng)分者信度也可以是一位評(píng)分者兩次評(píng)分的相關(guān)系數(shù)。如果是多個(gè)評(píng)分者或一位評(píng)分者兩次以上的評(píng)分，可采用肯德爾和諧系數(shù)和K

55、appa系數(shù)?？系聽柡椭C系數(shù)用于等級(jí)資料，Kappa系數(shù)用于定性資料。,,信度系數(shù)類型 ： 重測(cè)信度復(fù)本信度分半信度（Spearman — Brown； Guttman）庫(kù)德-理查森系數(shù)克隆巴赫α系數(shù)評(píng)分者信度*,5.提高信度的方法,問(wèn)卷的信度越高，受到人、時(shí)、地、物的干擾就越低，其所能反應(yīng)事實(shí)或讓人相信的程度越高，因此在問(wèn)卷實(shí)施前如何有效提高信度是問(wèn)卷測(cè)驗(yàn)成敗的關(guān)鍵。通常提高問(wèn)卷信度的方法為：,

56、（1）適當(dāng)延長(zhǎng)問(wèn)卷的長(zhǎng)度,問(wèn)卷題目較多，其在一定程度上排除了偶然因素的影響，從而提高了問(wèn)卷的信度。 但是問(wèn)卷長(zhǎng)度的增加與問(wèn)卷的信度的增加并不總是成正比的，當(dāng)信度系數(shù)較小時(shí)，延長(zhǎng)問(wèn)卷長(zhǎng)度，問(wèn)卷的信度系數(shù)增加較大；而當(dāng)信度系數(shù)較大時(shí)，延長(zhǎng)問(wèn)卷長(zhǎng)度對(duì)信度系數(shù)的影響就較小。,（2）問(wèn)卷的難度適中,當(dāng)問(wèn)卷題目難度太大時(shí)，問(wèn)卷得分普遍過(guò)低；當(dāng)問(wèn)卷題目難度太小時(shí)，問(wèn)卷得分普遍較高。問(wèn)卷題目太難或太易都會(huì)使問(wèn)卷得分差異減小，使實(shí)得分?jǐn)?shù)方差減

57、小，從而降低了問(wèn)卷的信度。,（3）問(wèn)卷的內(nèi)容盡量同質(zhì),內(nèi)容同質(zhì)的問(wèn)卷，要求答卷者具有相同的能力、知識(shí)和技能。因而為了提高問(wèn)卷的信度，問(wèn)卷的內(nèi)容應(yīng)盡量保持同質(zhì)。,（4）測(cè)驗(yàn)的時(shí)間要充分,一份問(wèn)卷應(yīng)保證絕大多數(shù)答卷者在規(guī)定的時(shí)間內(nèi)能完成測(cè)驗(yàn)。當(dāng)答卷者不能從容地回答所有題目時(shí)，問(wèn)卷的得分就不能反映答卷者的真實(shí)情況。,（5）測(cè)驗(yàn)的程序要統(tǒng)一,問(wèn)卷題目要統(tǒng)一，指導(dǎo)語(yǔ)、回答問(wèn)題的方式、分收試卷的方法和問(wèn)卷測(cè)驗(yàn)的時(shí)間等都要統(tǒng)一，這些是問(wèn)卷有較高信度的

58、基本保證。,,四、信度分析實(shí)例 （example）,例1 某人在新入學(xué)的大學(xué)生中隨機(jī)抽取40人，組織癥狀自評(píng)量表（SCL-90）測(cè)驗(yàn)，以了解新生心理健康的水平，及有針對(duì)性地進(jìn)行心理教育和疏導(dǎo)，避免意外事件的發(fā)生。試就量表測(cè)驗(yàn)結(jié)果，對(duì)此次測(cè)驗(yàn)的可靠性進(jìn)行分析,,SCL-90量表，包含90個(gè)題目，由受試者根據(jù)自己在最近一周以內(nèi)的實(shí)際感受，在：沒有、很輕、中等、偏重、嚴(yán)重各選項(xiàng)中選擇一個(gè)答案，每個(gè)選項(xiàng)分別計(jì)為0，1，2，3，4分。

59、 SCL-90分為9個(gè)因子，分別為軀體化、強(qiáng)迫癥狀、人際關(guān)系敏感、憂郁、焦慮、敵對(duì)性、恐怖、偏執(zhí)和精神病性。分析對(duì)象為答卷者所選的五項(xiàng)答案得分，計(jì)算各因子得分和問(wèn)卷總分。求各因子的各種信度系數(shù)和問(wèn)卷總的信度系數(shù)。,表11-2 各因子描述統(tǒng)計(jì)量,,在“Model:”選項(xiàng)中，SPSS提供5種信度分析模型:①Alpha: Cronbach α系數(shù)②Split-half: 分半信度，又稱 Spearman-Brown系數(shù),其應(yīng)

60、用的前提 條件是兩個(gè)分半表的信度和方差均滿 足齊性。③Guttman: Guttman分半信度，可不滿 足上述要求④Parallel:平行模型⑤Strict Parallel:嚴(yán)格平行模型,量表的cronbach α系數(shù),從菜單選擇Analyze → Scale → Reliability Analysis…→Item:a1/b2/c3/a4/．．．/j89/i90(共90個(gè)變量) → Model: Alph

61、a → √ List item labels →OK,,Reliability CoefficientsN of Cases = 40.0 N of Items = 90Alpha = 0.9740量表有90個(gè)題目，量表總的Cronbach α系數(shù)為0.9740，信度較高。,各因子的Cronbach α系數(shù),操作過(guò)程從菜單選擇Analyze → Scale → Reliability A

62、nalysis…→Item: 輸入各因子的條目數(shù)a1/a4/a12/a27/a40/a42/a48/a49/a52/a53/a56/a58 (軀體化因子，共12個(gè)變量) → Model: Alpha → OK,,量表的9個(gè)因子的Cronbach α系數(shù)分別為：軀體化0.8740；強(qiáng)迫0.8600；人際關(guān)系敏感0.7483；憂郁0.9445；焦慮0.8517；敵對(duì)性0.6009；恐怖0.9218；偏執(zhí)0.7210；精神病性0.6461

63、。憂郁、恐怖、軀體化、強(qiáng)迫、焦慮因子的信度較高；人際關(guān)系敏感和偏執(zhí)因子的信度尚可；但是敵對(duì)性和精神病性的信度偏低。從結(jié)果中我們還可以看出各項(xiàng)因子的Cronbach α系數(shù)小于問(wèn)卷總的Cronbach α系數(shù)。,分半信度,操作過(guò)程：從菜單選擇Analyze →Scale → Reliability Analysis…→Model：Split-half→ok,總量表的分半信度,總量表分半信度計(jì)算結(jié)果:Reliability Coeffi

64、cients 90 itemsCorrelation between forms = 0.9147 Equal-length Spearman-Brown = 0.9554Guttman Split-half = 0.9133 Unequal-length Spearman-Brown =0.9554Alpha for part 1 =0.9613 Alpha for

65、 part 2 =0.935845 items in part 1 45 items in part 2,,總量表的分半信度在0.90以上。 各因子分半信度中憂郁因子與恐怖因子的分半信度在0.90以上；焦慮因子、強(qiáng)迫因子和軀體化因子的分半信度在0.80以上；人際關(guān)系敏感因子的分半信度0.70以上；其余幾個(gè)因子得分半信度在0.70以下。,,五、效度和信度的關(guān)系,,,The validity of a questionnaire

66、 relies first and foremost on reliability.  If the questionnaire cannot be shown to be reliable, there is no discussion of validity.,1.信度和效度的共同點(diǎn)都是以相關(guān)系數(shù)來(lái)表示其大小的。都是整個(gè)運(yùn)用問(wèn)卷調(diào)查技術(shù)進(jìn)行科研工作的可靠性保證。,,2.不同點(diǎn)主要是： （1）研究的對(duì)象不同

67、 信度：答卷者 效度：組卷人 （2）研究的角度不同 信度：測(cè)量的質(zhì)量 效度：?jiǎn)柧淼馁|(zhì)量,,（3）涉及的誤差不同 信度僅考慮隨機(jī)誤差占測(cè)驗(yàn)總變異的比例； 效度則還包括與測(cè)驗(yàn)無(wú)關(guān)但穩(wěn)定的測(cè)量誤差。 兩者存在著必然的聯(lián)系，問(wèn)卷的信度是效度的必要而非充分條件，信度越高，效度不一定越高，即如果問(wèn)卷是完全可信的，那么問(wèn)卷可能達(dá)到完全有效，也可能達(dá)不到，這種現(xiàn)象產(chǎn)生的原因是測(cè)量

68、誤差的存在。,,（4）數(shù)值大小不同 可以證明，問(wèn)卷的效度為問(wèn)卷信度所制約，且效度不會(huì)大于信度，測(cè)量理論研究發(fā)現(xiàn)，效度的最大值小于或等于信度的平方根。效度高的測(cè)驗(yàn)，信度必定高，但信度高的測(cè)驗(yàn)，效度未必高。,,從理論的角度來(lái)看，一份好的問(wèn)卷應(yīng)具有足夠的效度和信度。但是，從實(shí)踐的觀點(diǎn)來(lái)看，一份好的問(wèn)卷還應(yīng)該具有實(shí)用性，即問(wèn)卷的經(jīng)濟(jì)性、便利性和可解釋性。,,適當(dāng)增加問(wèn)卷的長(zhǎng)度。增加問(wèn)卷的長(zhǎng)度既可提高問(wèn)卷的信度，也可以提高問(wèn)卷的效度，