浙江大學(xué)《概率論與數(shù)理統(tǒng)計》課件ch9

1、1,第九章 方差分析和回歸分析,關(guān)鍵詞：單因素試驗 一元線性回歸,2,方差分析(Analysis of variance, 簡稱:ANOVA),是由英國統(tǒng)計學(xué)家費歇爾(Fisher)在20世紀(jì)20年代提出的,可用于推斷兩個或兩個以上總體均值是否有差異的顯著性檢驗.,3,§1單因素方差分析,例：為了比較三種不同類型日光燈管的壽命(小時), 現(xiàn)將從每種類型日光燈管中抽取 8個, 總共 24 個日光燈管進(jìn)行

2、老化試驗,根據(jù)下面經(jīng)老化試驗后測算得出的各個日光燈管的壽命(小時)，試判斷三種不同類型日光燈管的壽命是不是有存在差異.,4,日光燈管的壽命(小時),,引起日光燈管壽命不同的原因有二個方面: 其一, 由于日光燈類型不同,而引起壽命不同.其二,同一種類型日光燈管,由于其它隨機因素的影響, 也使其壽命不同.,5,在方差分析中, 通常把研究對象的特征值, 即所考察的試驗結(jié)果( 例如日光燈管的壽命)稱為 試驗指標(biāo).對試驗指標(biāo)產(chǎn)生影響的原因

3、稱為 因素, “日光燈管類型” 即為因素.因素中各個不同狀態(tài)稱為 水平, 如日光燈管三個不同的類型, 即為三個水平.,6,單因素方差分析 僅考慮有一個因素A對試驗指標(biāo)的影響. 假如因素 A有r 個水平, 分別在第 i 水平下進(jìn)行了 多次獨立觀測, 所得到的試驗指標(biāo)的數(shù)據(jù),7,,每個總體相互獨立. 因此, 可寫成如下的 數(shù)學(xué)模型:,8,方差分析的目的就是要比較因素A 的r 個水平下試驗指標(biāo)理論均值的差異, 問題可歸結(jié)為比較這r個總體的均

4、值差異.,9,檢驗假設(shè),10,假設(shè)等價于,11,為給出上面的檢驗，主要采用的方法是平方和分解。即假設(shè)數(shù)據(jù)總的差異用總離差平方和 分解為二個部分: 一部分是由于因素 A引起的差異, 即效應(yīng)平方和 ；另一部分則由隨機誤差所引起的差異， 即誤差平方和 。,,,,12,13,,證明：,14,15,,16,17,18,,定理9.1.1,19,單因素試驗方差分析表,20,21,,例1 設(shè)有5種治療蕁麻疹的藥，要比較它們

5、的療效。假設(shè)將30個病人分成5組，每組6人，令同組病人使用一種藥，并記錄病人從使用藥物開始到痊愈所需時間，得到下面的記錄：(?=0.05),22,23,這里藥物是因子，共有5個水平，這是一個單因素方差分析問題，要檢驗的假設(shè)是“所有藥物的效果都沒有差別”。,24,25,,26,,未知參數(shù)的估計,27,,,28,29,30,在Excel上實現(xiàn)方差分析,先加載''數(shù)據(jù)分析" 這個模塊,方法如下:在excel工作表中

6、點擊主菜單中 “工具” 點擊下拉式菜單中“加載宏” 就會出現(xiàn)一個“加載宏” 的框. 在 “分析工具庫” 前的框內(nèi)打勾點擊“確定”. 這時候再點擊下拉式菜單會新出現(xiàn) “數(shù)據(jù)分析”. 然后就可以進(jìn)行統(tǒng)計分析了.,31,以下面的例子來說明用Excel進(jìn)行方差分析的方法:,保險公司某一險種在四個不同地區(qū)一年的索賠額情況記錄如表所示. 試判斷在四個不同地區(qū)索賠額有無顯著的差異?,32,33,在Excel工作表中輸入上面的數(shù)據(jù)點擊主菜單中

7、“工具”點擊下拉式菜單中“數(shù)據(jù)分析” 就會出現(xiàn)一個“數(shù)據(jù)分析” 的框. 點擊菜單中“方差分析:單因素方差分析”點擊“確定”, 出現(xiàn)“方差分析:單因素方差分析” 框.,34,在“輸入?yún)^(qū)域”中標(biāo)定你已經(jīng)輸入的數(shù)據(jù)的位置根據(jù)你輸入數(shù)據(jù)分組情況(是按行分或按列分)確定分組.選定方差分析中F檢驗的顯著水平選定輸出結(jié)果的位置點擊“確定”. 在你指定的區(qū)域中出現(xiàn)如下方差分析表:,35,方差分析表,36,根據(jù)Excel給出的方差分析表,假設(shè)H0的

8、判別有二種方法:,37,38,39,方差分析的前提,40,方差分析和其它統(tǒng)計推斷一樣, 樣本的獨立性對方差分析是非常重要的, 在實際應(yīng)用中會經(jīng)常遇到非隨機樣本的情況,這時使用方差分析得出的結(jié)論不可靠. 因此, 在安排試驗或采集數(shù)據(jù)的過程中, 一定要注意樣本的獨立性問題.,41,在實際中, 沒有一個總體真正服從正態(tài)分布的, 而方差分析卻依賴于正態(tài)性的假設(shè). 不過由經(jīng)驗可知, 方差分析F檢驗對正態(tài)性的假設(shè)并不是非常敏感, 即, 實際所得

9、到的數(shù)據(jù), 若沒有異常值和偏性, 或者說, 數(shù)據(jù)顯示的分布比較對稱的話, 即使樣本容量比較小(如每個水平下的樣本容量僅為5左右), 方差分析的結(jié)果仍是值得依賴的.,42,方差齊性對于方差分析是非常重要的, 因此在方差分析之前往往要進(jìn)行方差齊性的診斷, 檢驗方差齊性假設(shè)通常采用Barlett檢驗.不過，也可采用如下的經(jīng)驗準(zhǔn)則:當(dāng)最大樣本標(biāo)準(zhǔn)差不超過最小樣本標(biāo)準(zhǔn)差的兩倍時, 方差分析F檢驗結(jié)果近似正確.,43,§3 一元線性回歸

10、分析,一、確定性關(guān)系： 當(dāng)自變量給定一個值時，就確定應(yīng)變量的值與之對應(yīng)。如：在自由落體中，物體下落的高度h與下落時間t之間有函數(shù)關(guān)系：,變量與變量之間的關(guān)系,44,二、相關(guān)性關(guān)系： 變量之間的關(guān)系并不確定，而是表現(xiàn)為具有隨機性的一種“趨勢”。即對自變量x的同一值，在不同的觀測中，因變量Y可以取不同的值，而且取值是隨機的，但對應(yīng)x在一定范圍的不同值，對Y進(jìn)行觀測時，可以觀察到Y(jié)隨x的變化而呈現(xiàn)有一定趨勢的變化。,45,如

11、：身高與體重，不存在這樣的函數(shù)可以由身高計算出體重，但從統(tǒng)計意義上來說，身高者，體也重。如：父親的身高與兒子的身高之間也有一定聯(lián)系, 通常父親高，兒子也高。,46,我們以一個例子來建立回歸模型,某戶人家打算安裝太陽能熱水器. 為了了解加熱溫度與燃?xì)庀牡年P(guān)系, 記錄了16個月燃?xì)獾南牧? 數(shù)據(jù)見下表.,47,48,在回歸分析時, 我們稱“燃?xì)庀牧俊睘轫憫?yīng)變量記為Y,“加熱溫度”為解釋變量記為X, 由所得數(shù)據(jù)計算相關(guān)系數(shù)得r=0.9

12、95,表明加熱溫度與燃?xì)庀闹g有非常好的線性相關(guān)性.如果以加熱溫度作為橫軸, 以消耗燃?xì)饬孔鳛榭v軸,得到散點圖的形狀大致呈線性.,,49,50,51,52,53,54,55,一元線性回歸要解決的問題：,56,參數(shù)估計,57,整理得正規(guī)方程系數(shù)行列式,58,59,60,在誤差為正態(tài)分布假定下， 的最小二乘估計等價于極大似然估計。,61,采用最大似然估計給出參數(shù) 的估計與最小二乘法給出的估計完全一致。采用最大似然

13、估計給出誤差 的估計如下：此估計不是 的無偏估計。,,,62,例1 K.Pearson收集了大量父親身高與兒子身高的資料。其中十對如下：,求Y關(guān)于x的線性回歸方程。,63,64,參數(shù)性質(zhì),65,即為正態(tài)隨機變量的線性組合，所以服從正態(tài)分布。,,證明（1）,66,（2）類似可得。,67,回歸方程顯著性檢驗,采用最小二乘法估計參數(shù) ，并不需要事先知道Y與x之間一定具有相關(guān)關(guān)系。因此μ(x)是否為x的線性

14、函數(shù)：一要根據(jù)專業(yè)知識和實踐來判斷，二要根據(jù)實際觀察得到的數(shù)據(jù)用假設(shè)檢驗方法來判斷。,68,（1）影響Y取值的，除了x，還有其他不可忽略的因素；（2）E(Y)與x的關(guān)系不是線性關(guān)系，而是其他關(guān)系；（3）Y與x不存在關(guān)系。,若原假設(shè)被拒絕，說明回歸效果是顯著的，否則，若接受原假設(shè)，說明Y與x不是線性關(guān)系，回歸方程無意義?；貧w效果不顯著的原因可能有以下幾種：,69,假設(shè)的檢驗統(tǒng)計量,與方差分析方法類似，仍采用平方和分解。,,,一般地

15、，用來描述 之間的總的差異大小，稱SST為總平方和。,70,可以證明：,71,可以證明，,由參數(shù)估計的性質(zhì)可知，當(dāng) 時，,,72,,73,74,也可采用t檢驗,75,例3 檢驗例1中回歸效果是否顯著，取α=0.05。,,76,回歸系數(shù) 的置信區(qū)間,,,由,77,78,回歸參數(shù)估計和顯著性檢驗的Excel實現(xiàn),例 1（續(xù)) 前面我們已經(jīng)分析了加熱溫度與燃?xì)庀牧恐g的關(guān)系, 認(rèn)為兩者

16、具有較好的線性關(guān)系, 下面我們進(jìn)一步建立燃?xì)庀牧?響應(yīng)變量)與加熱溫度(解釋變量)之間的回歸方程. 采用Excel中的“數(shù)據(jù)分析” 模塊.在Excel工作表中輸入上面的數(shù)據(jù) 點擊主菜單中“工具” 點擊下拉式菜單中“數(shù)據(jù)分析” 就會出現(xiàn)一個“數(shù)據(jù)分析” 的框，點擊菜單中“回歸” ，點擊“確定”, 出現(xiàn)“回歸” 框.,79,在“Y值輸入?yún)^(qū)域”中標(biāo)定你已經(jīng)輸入的響應(yīng)變量數(shù)據(jù)的位置,在“X值輸入?yún)^(qū)域”中標(biāo)定你已經(jīng)輸入的解釋變量數(shù)據(jù)的位置

17、(注意: 數(shù)據(jù)按“列”輸入)“置信度”中輸入你已經(jīng)確定置信度的值選定輸出結(jié)果的位置點擊“確定”.在指定位置輸出相應(yīng)的方差分析表和回歸系數(shù)輸出結(jié)果, 例1的輸出結(jié)果如下所示,,80,方差分析表,81,Coef. 標(biāo)準(zhǔn)誤差 t Stat P value Lower 95% Upper 95%Intercept 1.089 0.139 7.841 1.729E- 06 0.7

18、91 1.387X 0.189 0.005 38.309 1.415E-15 0.178 0.200,方差分析中,給出了假設(shè)檢驗 的F檢驗. 方差分析表中各項也與前一節(jié)方差分析表中的意義類似. 值得注意的是,方差分析表中“均方” 列中, 相應(yīng)于“誤差”行的值即為模型誤差方差的估計, 即 =0

19、.115.,,,82,83,84,預(yù)測,預(yù)測一般有兩種意義.,85,86,因此，根據(jù)觀測結(jié)果，點預(yù)測為,87,88,89,90,91,92,93,例 合金鋼的強度y與鋼材中碳的含量x有密切關(guān)系。為了冶煉出符合要求強度的鋼常常通過控制鋼水中的碳含量來達(dá)到目的，為此需要了解y與x之間的關(guān)系。其中x：碳含量（％） y：鋼的強度（kg/mm2）數(shù)據(jù)見下：,94,（1）畫出散點圖；（2）設(shè)μ(x)=α+βx,求α+β的估計；（3）求誤差方差的