數(shù)理統(tǒng)計1-隨機事件及其概率

1、第五章 假設檢驗,,本章大綱,假設檢驗的基本概念Neyman-Pearson范式和假設檢驗有關的兩個問題廣義似然比檢驗單樣本檢驗的幾個實例兩個樣本的比較實驗設計,,學習目標,理解假設檢驗的直觀概念和Neyman-Pearson范式了解假設檢驗方法的可能缺陷掌握廣義似然比檢驗掌握正態(tài)、多項、泊松總體的假設檢驗掌握Hanging Rootogram和概率圖掌握兩個獨立樣本的比較理解實驗設計,本章詳細大綱,假設檢驗的基

2、本概念Neyman-Pearson范式Neyman-Pearson引理顯著性水平的確定和p-值一致最優(yōu)檢驗和假設檢驗有關的兩個問題置信區(qū)間和假設檢驗的對偶關系如何選擇原假設廣義似然比檢驗廣義似然比方法多項分布的廣義似然比檢驗泊松分布的廣義似然比檢驗單樣本檢驗的幾個實例兩個樣本的比較,,1.假設檢驗的基本概念(Hypothesis Testing),硬幣猜測游戲用似然比likelihood ratio

3、和貝葉斯方法處理這個問題,,正面朝上的概率硬幣0 0.5硬幣1 0.7,猜硬幣中的似然比,如果你在10次拋擲中看到2次正面朝上。則P0(2)/P1(2)=30。這就是似然比。硬幣0出現(xiàn)這個結果的機會是硬幣1的30倍,,,猜硬幣中的似然比,根據(jù)拋擲結果計算出的后驗概率成為評判標準,,C是臨界值critical value,猜硬幣中的錯判概率,假定c=1。則判別規(guī)則如下：因為結果有隨機性，這個規(guī)則導致錯判錯

4、誤分成兩類：H0為真的時候拒絕H0， H0為假的時候接受H0,,臨界值c對錯判概率的影響,假定c=0.1，即先驗概率有差異,2.Neyman-Pearson范式,不用貝葉斯方法規(guī)避了先驗概率的決定對兩個假設區(qū)別對待，一個成為原假設H0(null hypotheses)，另一個成為備擇假設H1(alternative hypotheses)由此導致在有些場合下選擇原假設的困難,Neyman-Pearson范式中的術語,第I類錯誤(T

5、ype I Error)，H0為真的時候拒絕H0檢驗的顯著性水平(significance level)，第I類錯誤的概率，通常記為第II類錯誤(Type I Error)，H0為假的時候接受H0，其概率記為檢驗的功效(power)， H0為假的時候拒絕H0，其概率記為 檢驗統(tǒng)計量(test statistics)拒絕域(rejection region)和接受域(acceptance region)原分布(null dis

6、tribution)，在原假設為真的條件檢驗統(tǒng)計量所服從的分布,,,Neyman-Pearson引理(lemma),,方差已知的正態(tài),,,,,,方差已知的正態(tài),,,,置信區(qū)間和假設檢驗的對偶關系,,,,,,,,,置信區(qū)間和假設檢驗的對偶關系：引理A,引理A,置信區(qū)間和假設檢驗：引理A證明,引理A證明,則按照C(X)的定義,置信區(qū)間和假設檢驗的對偶關系：引理B,引理B,證明,廣義似然比檢驗（Generalized Likelihood

7、Ratio Test）,似然比檢驗在對兩個簡單假設進行檢驗的時候是最優(yōu)的。本節(jié)介紹的廣義似然比檢驗將能夠處理比較復雜的假設形式。其原理和似然比有相似之處。,一個比較自然的度量兩個假設可信程度的指標是兩個假設的似然比。,廣義似然比檢驗,因為在兩個假設中，參數(shù)都有多個可能取值，所以在可能的參數(shù)集合上取最大值是一個可以考慮的,,,出于數(shù)學處理上的考慮，把分母改成在整個參數(shù)集合上取最大值,廣義似然比檢驗：方差未知正態(tài)總體的均值檢驗,廣義似

8、然比檢驗：方差未知正態(tài)總體的均值檢驗,,,,廣義似然比檢驗：方差未知正態(tài)總體的均值檢驗,,,,多項分布的廣義似然比檢驗,,考慮多項分布的似然比檢驗。,多項分布的廣義似然比檢驗,,,,,Pearson卡方統(tǒng)計量和似然比,,可以證明在H0成立的條件下，Pearson統(tǒng)計量和似然比漸近等價，這里用Taylor展開做一直觀解釋。,Pearson卡方統(tǒng)計量和似然比,,Handy-Weinberg均衡,在參數(shù)估計的例子中引入了Handy-W

9、einberg均衡,Bacterial Clump,用顯微鏡檢查0.01毫升牛奶中的細菌群的數(shù)量.計量方法是每個方格子里的數(shù)量看起來用泊松分布是不錯的以下數(shù)據(jù)來自Bliss and Fisher (1953),Bacterial Clump,Fisher重新檢驗孟德爾(Mendel)的數(shù)據(jù),現(xiàn)代基因理論的結果,孟德爾的觀測結果,Pearson卡方統(tǒng)計量＝0.604,泊松散布度檢驗(dispersion test),泊松分布的特點是均

10、值和方差相等,泊松散布度檢驗(dispersion test),泊松散布度檢驗(dispersion test),近似公式可以有如下解釋：等于方差估計值除以均值估計值的比率的n倍,泊松分布的方差和均值相等，但一般情況下的數(shù)據(jù)的方差大于均值。因此這個檢驗稱為散布度檢驗,比如負二項分布和泊松分布相比就具有更大的散布程度,泊松散布度檢驗：石棉纖維,,泊松散布度檢驗：細菌菌落,,更多的評估擬合優(yōu)度的方法Hanging rootogram

11、sProbability plots正態(tài)性檢驗,Hanging rootograms,原理：用圖象展示觀測值和擬合值的直方圖之間的差異演示數(shù)據(jù)：來自Martin, Gudzinowicz and Fanger 1975，共152通常會用正態(tài)分布來擬合所得到的數(shù)據(jù),Hanging rootograms,Hanging rootograms,Probability plots,要對一組數(shù)據(jù)對某個理論分布的擬合程度進行定性判斷，概率

12、圖是極為有用的一種圖形工具,Probability plots,均勻－均勻概率圖,Probability plots,概率圖,顯然這條曲線不是線性的,均勻-三角概率圖,概率圖：概率積分變換probability integral transformation,概率圖：特定的F(x),概率圖：Michelson光速測定實驗結果,,,,正態(tài)性檢驗,,正態(tài)性檢驗,正態(tài)性檢驗,,比較兩個獨立樣本(Independent Samples),,

13、比較兩個獨立樣本：基于正態(tài)分布,比較兩個獨立樣本：基于正態(tài)分布方差已知,比較兩個獨立樣本：基于正態(tài)分布方差未知,比較兩個獨立樣本：基于正態(tài)分布方差未知,定理A的證明,統(tǒng)計量可以表示為U/V.,U服從標準正態(tài)分布.,V等于卡方隨機變量除以其分布自由度.,U/V服從t分布,比較兩個獨立樣本：基于正態(tài)分布方差未知,比較兩個獨立樣本：基于正態(tài)分布方差未知，例A,問題：今有A和B兩種決定冰的熱功當量的方法,此處放箱線圖,比較兩個獨立樣

14、本：基于正態(tài)分布方差未知，例A,自由度為19的t分布的.975分位點等于,2.093,即(.015,.065),兩樣本假設檢驗,雙側備擇假設 two-sided alternative,單側備擇假設 one-sided alternative,,,,兩樣本假設檢驗，續(xù)例A,檢驗H0對H1等價于似然比檢驗,求最大值：似然比的分子部分,求最大值：似然比的分母部分,似然比的計算結果,分子部分的變換,,如果方差不相等,以它為t統(tǒng)計量的分母，所

15、得到的統(tǒng)計量不再服從t分布，但近似服從自由度為下述結果取整之后的結果的t分布,教材例11.2.1.1[待處理],教材例11.2.1.1,下面是對數(shù)變換的模型,變異系數(shù)(coefficient of variation),一個分布的標準差和均值的比率稱為變異系數(shù)(coefficient of variation),,對于變換后的數(shù)據(jù)，t統(tǒng)計量為.917，p-值為.37。,沒有理由拒絕原假設。95%置信區(qū)間是(-.61,.23),功效

16、(power),計算功效對于在規(guī)劃實驗時確定樣本量的大小具有重要意義。檢驗的功效是在原假設為假的時候拒絕原假設的概率。,影響兩樣本t檢驗的四個要素包括：,功效的計算,,,,例A。兩樣本比較。樣本量均為18，來自正態(tài)總體，標準差都是5，顯著性水平.05。,,非參數(shù)方法：Mann-Whitney檢驗,這個檢驗也叫Wilcoxon秩和檢驗(Wilcoxon Rank Sum Test),將m+n次實驗分配給處理組和對照組，隨機抽取n個分

17、配給對照組，剩下的m個給處理組,要檢驗的原假設是處理沒有效應。如果原假設通過檢驗，就說明結果中的差異是由隨機化造成的,統(tǒng)計量的計算方法如下,1、將m+n個觀測值放在一起，按照升序排列。（為簡化問題，假定沒有并列名次。實際上，出現(xiàn)并列名次并不影響我們的計算）。2、計算來自對照組的觀測值的秩的和3、如果秩和太大或者太小就可以拒絕原假設,Mann-Whitney檢驗的簡單例子,4位受試，隨機抽取其中兩名進入處理組，剩下兩名在對照組,

18、表中的數(shù)據(jù)是實驗結果（響應值），括號中出現(xiàn)的是這個值的秩,對照組的秩和等于7，處理組的秩和等于3,這個差異足以讓我們相信在處理組和對照組的結果之間存在系統(tǒng)的差別嗎？讓我們來做一個概率計算。,Mann-Whitney檢驗的簡單例子,Mann-Whitney檢驗的關鍵思想是：我們可以用顯式公式計算原假設下的秩和分布。,在原假設下，所有觀測值的秩的組合都是等概率的。這樣一共有4!=24種結果。特別地，處理組的結果的秩有6種，也應該是

19、等概率出現(xiàn)的。,Mann-Whitney檢驗,實際中的檢驗問題不可能有這么小的m和n,Mann-Whitney檢驗：例A,數(shù)據(jù)來自教材423頁，例A,排序結果，有并列排名,并列排名的處理方式：比如有4個值都等于79.97。它們占據(jù)的名次為3,4,5和6，則每個數(shù)的秩都等于,(3+4+5+6)/4=4.5,Mann-Whitney檢驗：例A,Mann-Whitney檢驗：定理A,證明提示：利用教材7.3.1的定理A和B,Mann-

20、Whitney檢驗：定理A的證明,Mann-Whitney檢驗,Mann-Whitney檢驗不依賴正態(tài)假設用排序名次取代實際數(shù)字，對離群值不敏感可以證明，如果正態(tài)假設成立，則Mann-Whitney檢驗和t分布的功效幾乎相等下面我們用另一種觀點看待Mann-Whitney檢驗,Mann-Whitney檢驗,Mann-Whitney檢驗,Mann-Whitney檢驗,,,Mann-Whitney檢驗,,貝葉斯方法,貝葉斯方法,貝葉斯

21、方法,解釋是完全不一樣的,貝葉斯方法,補充例題,比較配對樣本comparing paired samples,許多實驗中使用的不是獨立樣本，而是配對樣本。,醫(yī)學實驗。受試可能按照年齡、體重或者患病程度配對，然后每個對中的一個成員會被隨機分到處理組，另一個進入對照組。,或者，對是由同一位受試在計量“之前”和“之后”構成,關鍵問題是如何處理“不獨立”樣本的相關性,比較配對樣本,比較配對樣本,配對實驗的優(yōu)勢在于，如果X和Y的相關系數(shù)大于