非參數(shù)統(tǒng)計(jì)--第3章第四版

1、第三章 兩樣本位置檢驗(yàn),第一節(jié) Brown-Mood中位數(shù)檢驗(yàn),在單樣本位置問(wèn)題中，人們想要檢驗(yàn)的是總體的中心是否等于一個(gè)已知的值．但在實(shí)際問(wèn)題中，更受注意的往往是比較兩個(gè)總體的位置參數(shù)；比如。兩種訓(xùn)練方法中哪一種更出成績(jī)，兩種汽油中哪一個(gè)污染更少，兩種市場(chǎng)營(yíng)銷策略中哪種更有效，兩種藥物中哪種更有效……,傳統(tǒng)上，人們假設(shè)總體是正態(tài)分布或近似的正態(tài)分布，然后利用兩樣本的T檢驗(yàn)。但是關(guān)于總體是正態(tài)的假設(shè)并不一定合理。在小樣本時(shí)，近似也不一

2、定合適。本章的目標(biāo)就是在對(duì)總體不作任何分布假設(shè)的前提下，解決兩樣本檢驗(yàn)問(wèn)題。,兩樣本位置檢驗(yàn),例3.1 (數(shù)據(jù)：salary.txt, salary.sav)我國(guó)兩個(gè)地區(qū)一些(分別為17個(gè)和15個(gè))城鎮(zhèn)職工的工資(元)：地區(qū)1：6864 7304 7477 7779 7895 8348 8461 9553 9919 10073 10270 11581 13472 13600 13962 15019 17244 地區(qū)2：10276 1

3、0533 10633 10837 11209 11393 11864 12040 12642 12675 13199 13683 14049 14061 16079 人們想要知道這二個(gè)地區(qū)城鎮(zhèn)職工工資的中位數(shù)是否一樣，這就是檢驗(yàn)二個(gè)獨(dú)立總體的位置參數(shù)是否相等的問(wèn)題。,Brown-Mood中位數(shù)檢驗(yàn),檢驗(yàn)原理：在零假設(shè)成立時(shí)，中位數(shù)如果一樣的話，它們共同的中位數(shù)，即這(15+17=)32個(gè)數(shù)的樣本中位數(shù)(記為MXY)。也就是說(shuō)，在X1,

4、 X2, … ,X17或在Y1, Y2, … ,Y15 的二個(gè)樣本中，大于或小于混合后的中位數(shù)MXY的樣本點(diǎn)應(yīng)該大致一樣多。容易算得MXY =11301 ，在用兩個(gè)樣本和MXY比較之后得到各個(gè)樣本中大于和小于它的數(shù)目(見(jiàn)下表),假設(shè)(X1, X2, … ,Xm)~X， (Y1, Y2, … ,Yn)~Y，地區(qū)1樣本數(shù)據(jù)所代表的總體中位數(shù)為 ，而地區(qū)2的為,,這里如果有和MXY相同的觀測(cè)值，可以去掉它，也可以隨機(jī)地把這些相等的值

5、放到大于或小于MXY的群中以使得檢驗(yàn)略微保守一些。就本例來(lái)說(shuō)，二個(gè)樣本的中位數(shù)不很相同，如何做正式的檢驗(yàn)?zāi)兀靠梢钥闯錾媳硎且粋€(gè)2×2的列聯(lián)表，由初等概率可知，對(duì)于一般的2×2列聯(lián)表,,,令A(yù)表示列聯(lián)表中左上角取值a的X 樣本中大于的變量，在m、n及t固定時(shí)，A的分布在零假設(shè)下為超幾何分布(對(duì)于不超過(guò)m的k),,現(xiàn)在可以用上面A的分布，直接進(jìn)行前面所提的單邊檢驗(yàn) 。在給定

6、m，n和t的時(shí)候，如果A的值a太大或太小時(shí)就應(yīng)該懷疑零假設(shè)。下表列出了Brown-Mood中位數(shù)檢驗(yàn)的基本內(nèi)容。,計(jì)算,檢驗(yàn)基本內(nèi)容,,,,,,,,,,,,,P-值,檢驗(yàn)統(tǒng)計(jì)量,,,,,,,,,,,,,,,,,,,,,,,,,,,對(duì)于水平 ，如果p-值小于 ，那么拒絕零假設(shè) ，否則不能拒絕。在m≠n時(shí)因A不對(duì)稱，雙邊檢驗(yàn)結(jié)果不那么理想。,例題3.1的解法,在例3.1中，a=6，b=10，m=17，n=15用備擇假設(shè)

7、 作單邊檢驗(yàn)時(shí)，可以根據(jù)R軟件超幾何分布的語(yǔ)句phyper(6,17,15,16)，即p值=P(A≤a)等于phyper(a,m,n,a+b)，得到p值為P(A≤a)=P(A≤6)= 0.07780674。根據(jù)這個(gè)p值，無(wú)法對(duì)常用的顯著性水平0.05來(lái)拒絕零假設(shè)。對(duì)于二個(gè)方差差不多相等的正態(tài)總體，該檢驗(yàn)相對(duì)于t檢驗(yàn)的ARE為2/π=0.637．顯然，它和單樣本情況的符號(hào)檢驗(yàn)同屬一類。這個(gè)檢驗(yàn)為一般列聯(lián)

8、表的Fisher精確檢驗(yàn)在2×2表情況的特例。如果用C表示上面表中的矩陣 那么，可以用R軟件的函數(shù)fisher.test(C,alt=〃less〃)得到和上面兩樣的p值。,,可以看出，前面2×2表中a較大等價(jià)于m－a較小，b較大等價(jià)于n－b較小，也就是說(shuō)，根據(jù)形成2×2表時(shí)的對(duì)稱性(即行列可互換，行間及列間可互換)，用a,b, m－a, n－b的任何一個(gè)數(shù)目都可以根據(jù)超幾何分布語(yǔ)句得到p

9、值。,檢驗(yàn)的大樣本近似,,,,,在零假設(shè)下，在大樣本情況時(shí)，可以使用檢驗(yàn)統(tǒng)計(jì)量所服從超幾何分布的正態(tài)近似進(jìn)行檢驗(yàn)(包括連續(xù)性的修正)：研究表明，該近似在min(m,n)≥12時(shí)相當(dāng)精確。另外，在雙邊檢驗(yàn)時(shí)，對(duì)于大樣本情況，可以用Pearson卡方檢驗(yàn)統(tǒng)計(jì)量來(lái)進(jìn)行檢驗(yàn)，它有近似的自由度為1的卡方分布。,,另外如果X和Y+θ有同樣的分布，可求得置信區(qū)間為：,其中c和c’滿足：,第二節(jié) Wilcoxon (Mann-Whitney

10、) 秩和檢驗(yàn),,,,,,在前面一節(jié)，比較兩個(gè)總體的中位數(shù)的檢驗(yàn)時(shí)，只利用了樣本大于或小于共同中位數(shù)的數(shù)目，如同前面的單獨(dú)符號(hào)秩檢驗(yàn)一樣，只有方向的信息，沒(méi)有差異大小的信息。作為單樣本的Wilcoxon秩和檢驗(yàn)的推廣，下面我們討論兩個(gè)樣本的Wilcoxon秩和檢驗(yàn)。,,,,,,,為了對(duì)假設(shè)作出判定， 把樣本X1, X2, … ,Xm 和Y1, Y2, … ,Yn 混合起來(lái)，這m+n＝N個(gè)觀察值按照從小到大排列起來(lái)，這樣每一個(gè)Y的觀測(cè)值在混

11、合排列中都有自己的秩，令Ri為在Yi這N個(gè)數(shù)中的秩(即Yi是第Ri小的)。顯然，如果這些秩的和 很小，則Y樣本的值偏小，可以懷疑零假設(shè)。同樣，對(duì)于X的樣本也可以得到其樣本點(diǎn)在混合樣本中的秩之和WX 。人們稱WY或WX為Wilcoxon秩和統(tǒng)計(jì)量，該統(tǒng)計(jì)量是由Wilconxon于1945年提出的。,,,,,,另一種等價(jià)的統(tǒng)計(jì)量,Mann-Whitney與1947年提出了另一種檢驗(yàn)量WXY和WYX 。這里定

12、義 WXY為所有X 觀察值在混合樣本中超過(guò)Y 觀察值的個(gè)數(shù)， WYX為所有Y 觀察值在混合樣本中大于X 觀察值的個(gè)數(shù)，W為WXY和WYX中較小者，即 。若H0成立， WXY和WYX的差別不會(huì)很大， W不會(huì)太小。如果W很小，我們就有理由懷疑H0 。實(shí)際上，檢驗(yàn)統(tǒng)計(jì)量WY、WX和W等價(jià)，二者之間只是一個(gè)線性變換關(guān)系，一般將其統(tǒng)稱為Wilconxon-Mann-Whitney統(tǒng)計(jì)量。,,,,m=n=

13、2情形下統(tǒng)計(jì)量的可能取值,Ri為Yi在N=n+m 個(gè)數(shù)中的秩, 且有：,性質(zhì)和檢驗(yàn),定理4.2 在零假設(shè)下：若 ，且 ，時(shí)：,在檢驗(yàn)時(shí) ， ，，其中a，b值由前面定理確定。對(duì)于打結(jié)的情況需要使用修正的公式。,大樣本(m,n大于10)，用正態(tài)近似,如有打結(jié) (打結(jié)的情況超過(guò)全部數(shù)據(jù)的1/5時(shí))，對(duì)Z應(yīng)修正為：在例3.1中，地

14、區(qū)1(m=17)和地區(qū)2(n=15)的秩和分別為WY=306，WX=222（見(jiàn)P66），并由此計(jì)算WXY=WY-n(n+1)/2=186，WYX=69。,,對(duì)于H1:MX<MY ，p值為0.01352166，因此，對(duì)于α=0.05的顯著性水平，可以拒絕零假設(shè)。這個(gè)結(jié)論比第一節(jié)（ p值為0.07780674）的中位數(shù)檢驗(yàn)有效。關(guān)于Wilcoxon秩和檢驗(yàn)(Mann-Whitney檢驗(yàn))總結(jié)如下：,,3.2.2 MX-MY的點(diǎn)估計(jì)和

15、區(qū)間估計(jì)MX-MY的點(diǎn)估計(jì)就是X和Y觀察值成對(duì)相減后的中位數(shù)(共有mn對(duì))。例4.1的MX-MY的點(diǎn)估計(jì)為-2479.求MX-MY的(1-α)置信區(qū)間的步驟為：(1)得到所有mn個(gè)差額Xi-Yj；(2)記按升序排列的差為D1,…, DN(N=mn)；(3)從表中查出Wα/2，它滿足P(WXY ≤ Wα/2)= α/2 。則所要的置信區(qū)間為(D Wα/2，D mn+1-Wα/2)例4.1的Dα/2=76，置信區(qū)間為(D 76

16、, D 255+1-76)=(-3916，-263)。,第四節(jié) 成對(duì)數(shù)據(jù)的檢驗(yàn),,要使比較有意義,必須要假定:(1)每一對(duì)數(shù)據(jù)或者來(lái)自同一個(gè)或者可比較的類似對(duì)象;(2)對(duì)和對(duì)之間是獨(dú)立; (3)都是連續(xù)變量.設(shè) 為對(duì)子之間的差的中位數(shù),則檢驗(yàn)為:,,例4.2 有10個(gè)病人在進(jìn)行了某種藥物治療的前后的血壓為:問(wèn)題:該藥物是否有效?這里要檢驗(yàn)的是Di的中位數(shù)MD是否大于MD0 =0?？赡艽蠹乙呀?jīng)看到問(wèn)題

17、到這一步就和前面的單單樣本問(wèn)題完全一樣了。,,現(xiàn)在只需要用符號(hào)檢驗(yàn)或Wilcoxon符號(hào)秩檢驗(yàn)即可。就本例子而言，因?yàn)閄觀測(cè)值看來(lái)比Y的要大，應(yīng)檢驗(yàn)： 。這里先利用Wilcoxon符號(hào)秩檢驗(yàn)，下表給出了上面的對(duì)子之差及它們的符號(hào)和相應(yīng)的秩。,,容易算出，正符號(hào)的秩之和為 ，而負(fù)符號(hào)的秩之和為 。故選檢驗(yàn)統(tǒng)計(jì)

18、量 ，得到p值為0.01367188，由此可以在顯著性水平α大于0.014時(shí)拒絕零假設(shè)。在用正態(tài)近似時(shí)，得到p值為0.01616。雖然樣本不大，但是對(duì)此例，兩個(gè)結(jié)果差得不太多。如果用符號(hào)檢驗(yàn)，也會(huì)有類似的結(jié)論。,3.5 McNemar檢驗(yàn),實(shí)踐中有很對(duì)配對(duì)二元取值數(shù)據(jù)，如下例,例3.3（數(shù)據(jù)：athletefootp.txt，athletefootp.sav）某藥廠想比較A和B兩種治療腳癬的療效.實(shí)驗(yàn)中有

19、40個(gè)病人，每人在左腳和右腳上分別使用A和B兩種藥.下面是腳癬是否治愈的數(shù)據(jù)（1為治愈，0為沒(méi)治愈）,McNemar檢驗(yàn),將上面數(shù)據(jù)寫(xiě)成列聯(lián)表形式，有如下表,,McNemar檢驗(yàn),,,McNemar檢驗(yàn),,3.6 Cohen’s Kappa系數(shù),Cohen’s Kappa系數(shù)由Cohen（1960）提出，是度量?jī)晌辉u(píng)估者之間評(píng)估一致性的指標(biāo).先看一個(gè)簡(jiǎn)單的例子例3.4 （數(shù)據(jù)：music.txt，music.sav）兩位評(píng)委給參加