統(tǒng)計(jì)學(xué)--第九章直線回歸與相關(guān)

1、第九章 直線回歸與相關(guān),Linear Regression and correlation,第一節(jié) 直線回歸,一、概述1、函數(shù)關(guān)系與回歸關(guān)系函數(shù)關(guān)系：自變量取某一數(shù)值時(shí)，應(yīng)變量有一個(gè)完全確定的數(shù)值與之對(duì)應(yīng)。（多見(jiàn)于物理、化學(xué)等學(xué)科，生物醫(yī)學(xué)界不少變量間有一定的關(guān)系，但不是十分明確）回歸關(guān)系：應(yīng)變量隨自變量的變化而變化，且呈直線趨勢(shì)，但并非所有的點(diǎn)子都在一直線上。,,直線回歸分析的任務(wù)：找出一條最能代表這些數(shù)據(jù)關(guān)系的一條直線。方法

2、：一般采用最小二乘法least square method找出一條各實(shí)測(cè)點(diǎn)與它的縱向距離的平方和為最小的直線回歸方程。又稱作最小二乘回歸變量y隨變量x而變化，稱x為自變量independent variable，y為應(yīng)變量dependent variable.,,2、直線回歸方程直線方程：y=a+bx直線回歸方程：a：為回歸直線在Y軸上的截距intercept，a>0表示直線與縱軸的交點(diǎn)在原點(diǎn)的上方，ao直線從左下走向

3、右上, b<0從左上走向右下, b=0直線與橫軸平行。意義：x每增(減)一單位，Y平均改變b個(gè)單位,,3、最小二乘法樣本含量為n的的樣本資料標(biāo)在(x,y)平面上，可得n個(gè)點(diǎn)，故可確定很多直線，直線回歸的主要目標(biāo)之一是用實(shí)測(cè)的x估計(jì)y，所以希望估計(jì)的y與實(shí)測(cè)的y間的誤差愈小愈好。即從所有直線中找到一條直線使估計(jì)誤差平方和達(dá)最小。即 最小,二、求直線回歸方程的基本方法,,,P

4、110例9－1：1)由原始數(shù)據(jù)繪散點(diǎn)圖，各點(diǎn)分布呈直線趨勢(shì)，故作下列計(jì)算2)求?x, ?y, ?x2, ?y2, ?xy3)計(jì)算x,y的均數(shù)，lxx、lyy和lxy4)求回歸系數(shù)b和截距a5)列出回歸方程,,6)直線回歸方程圖示：在自變量x的實(shí)測(cè)全距范圍內(nèi)任取相距較遠(yuǎn)且易讀的兩x值，代入回歸方程求y的估計(jì)值，在圖繪出兩點(diǎn)連成直線。注意：所繪直線必然通過(guò) ，若縱坐標(biāo)、橫坐標(biāo)無(wú)折斷號(hào)時(shí)，將此直線左端延長(zhǎng)與

5、縱軸相交，交點(diǎn)的縱坐標(biāo)必然等于截距a，這兩點(diǎn)可用來(lái)核對(duì)回歸線繪制是否正確。,第二節(jié) 直線回歸分析中誤差及可信區(qū)間,一、標(biāo)準(zhǔn)估計(jì)誤差估計(jì)誤差error of estimate：在直線回歸中，各實(shí)際值y與由回歸方程計(jì)算出的估計(jì)值之間有一定的誤差，稱～。這種離差可以用類似標(biāo)準(zhǔn)差的式子進(jìn)行計(jì)算，稱為標(biāo)準(zhǔn)估計(jì)誤差standard error of estimate。由于 決定于均數(shù)和回歸系數(shù)，所以自由度為n-2,,lyy的分析:p點(diǎn)的

6、縱坐標(biāo)被回歸線、均數(shù)y 截成三段SS總＝SS回＋SS剩,,,,,,Y,X,,,,P,,,,,y - y,,^y - y,^ -y - y,y,,,各實(shí)測(cè)點(diǎn)離回歸直線越近，剩余平方和愈小，說(shuō)明直線回歸的估計(jì)誤差愈小?總＝?回＋?剩?總＝n－1，?回＝1，?剩＝n－2,,二、實(shí)測(cè)值圍繞回歸線的離散度回歸分析時(shí)假設(shè)：X取某一值時(shí)，Y圍繞回歸線?＋?x呈正態(tài)分布，Sy.x是其標(biāo)準(zhǔn)差?的估計(jì)值。故可估計(jì)出約有95％觀測(cè)值y在總

7、體回歸線y= ?＋?x上下1.96個(gè)標(biāo)準(zhǔn)估計(jì)誤差范圍內(nèi)，見(jiàn)P112圖9－3,,三、回歸系數(shù)的標(biāo)準(zhǔn)誤表示：樣本回歸系數(shù)b對(duì)總體回歸系數(shù)?進(jìn)行估計(jì)時(shí)誤差的大小求?的95％可信區(qū)間b?t0.05(?)Sb ，自由度=n-2,,四、 的標(biāo)準(zhǔn)誤y的標(biāo)準(zhǔn)誤本應(yīng)由Sy/?n求得，但因在直線回歸當(dāng)中x的影響被扣除后，y方面的變異減小，故y的標(biāo)準(zhǔn)誤，即x=x時(shí)y^的標(biāo)準(zhǔn)誤為五、 的可信區(qū)間

8、 是總體均數(shù)? 的估計(jì)值,,,,,95％可信區(qū)間：六、 的標(biāo)準(zhǔn)誤當(dāng)xi?x時(shí)， 的變異不僅決定于y的誤差，也與回歸系數(shù)b的誤差有關(guān),,,七、 (個(gè)體y值)的可信區(qū)間理論上，每個(gè)xi對(duì)應(yīng)的y估計(jì)值都有一個(gè)區(qū)間估計(jì)，把這些可信區(qū)間的上限和下限連起來(lái)，為兩條曲線。把這兩條曲線間的空間稱為回歸直線的可信區(qū)間。,,八、截距?的誤差及總體參數(shù)?的

9、可信區(qū)間由于截距?是x=0時(shí)y的估計(jì)值，九、單一個(gè)體yi值的范圍預(yù)測(cè),第三節(jié) 回歸系數(shù)和截距的統(tǒng)計(jì)意義檢驗(yàn),一、回歸系數(shù)的t檢驗(yàn),,二、回歸系數(shù)的方差分析所得結(jié)論與t檢驗(yàn)相同,,三、兩個(gè)回歸系數(shù)差別的統(tǒng)計(jì)意義檢驗(yàn)P119,例9-3,,四、截距的統(tǒng)計(jì)意義檢驗(yàn)檢驗(yàn)a是否是從總體截距為0的總體中抽樣得到t=a/Sa 自由度為n-2五、兩條回歸線高度差別的統(tǒng)計(jì)意義檢驗(yàn)當(dāng)兩條回

10、歸線的回歸系數(shù)的差別無(wú)統(tǒng)計(jì)意義時(shí)，可以用一公共的斜率來(lái)擬合此兩條回歸線。(見(jiàn)P121，一般了解),第四節(jié) 直線回歸方程的應(yīng)用,一、描述兩變量的依存關(guān)系二、利用回歸方程進(jìn)行預(yù)測(cè)三、利用回歸方程進(jìn)行統(tǒng)計(jì)控制統(tǒng)計(jì)控制：是利用回歸方程進(jìn)行逆估計(jì)，如要求應(yīng)變量在一定范圍波動(dòng)，可以通過(guò)自變量的取值來(lái)實(shí)現(xiàn)。四、應(yīng)用直線回歸方程應(yīng)注意的問(wèn)題1、作回歸分析要有實(shí)際意義，不能把毫無(wú),,關(guān)聯(lián)的兩種現(xiàn)象勉強(qiáng)作回歸分析，即便有回歸關(guān)系，也不一定有因果

11、關(guān)系，還必須對(duì)兩種現(xiàn)象間的內(nèi)在聯(lián)系有所認(rèn)識(shí)，即能從專業(yè)理論上作出合理解釋或有所依據(jù)2、在進(jìn)行直線回歸分析時(shí)，應(yīng)繪散點(diǎn)圖，當(dāng)觀察點(diǎn)的分布有直線趨勢(shì)，才適宜作直線回歸分析。散點(diǎn)圖還能提示資料有無(wú)異常點(diǎn)，異常點(diǎn)對(duì)方程估計(jì)影響較大3、直線回歸方程的適用范圍一般以自變量的取值范圍為限，在此范圍求出y的估計(jì)值，稱為內(nèi)插，超出自變量取值范圍稱外延。,,若無(wú)充分理由證明超過(guò)自變量取值范圍還是直線，應(yīng)該避免外延,第五節(jié) 相關(guān),一、相關(guān)系數(shù)的意義說(shuō)

12、明兩變量(x,y)間關(guān)系密切程度的統(tǒng)計(jì)指標(biāo)叫相關(guān)系數(shù)coefficient of correlation,用r表示,,r是說(shuō)明具有直線關(guān)系的兩個(gè)變量間，相關(guān)關(guān)系的密切程度與相關(guān)方向的指標(biāo)。r沒(méi)有單位，其值為－1?r?1，值為正時(shí)表示正相關(guān)，為負(fù)時(shí)表示負(fù)相關(guān)；絕對(duì)值為1時(shí)表示完全相關(guān)。(生物界少見(jiàn))r是總體相關(guān)系數(shù)?(rho)的估計(jì)值,,二、相關(guān)系數(shù)的計(jì)算方法用上述公式直接計(jì)算(小樣本未分組資料)三、相關(guān)系數(shù)的統(tǒng)計(jì)意義檢驗(yàn)－t檢驗(yàn)

13、樣本相關(guān)系數(shù)r是總體相關(guān)系數(shù)?的估計(jì)值。即使從?＝0的總體中隨機(jī)抽樣，由于抽樣誤差的影響，所得的r值也常不等于0。只有在相關(guān)系數(shù)有統(tǒng)計(jì)意義時(shí)，才能根據(jù)絕對(duì)值的大小來(lái)說(shuō)明x,y相互關(guān)系的密切程度。,,Sr為相關(guān)系數(shù)的標(biāo)準(zhǔn)誤相關(guān)系數(shù)的統(tǒng)計(jì)意義也可直接查相關(guān)系數(shù)統(tǒng)計(jì)意義界限表(附表9－1，P566)，若不能直接查得，可用內(nèi)插法估計(jì),,四、兩個(gè)相關(guān)系數(shù)差別的統(tǒng)計(jì)意義檢驗(yàn)只有當(dāng)從?＝0的總體中隨機(jī)抽樣，各樣本相關(guān)系數(shù)r的分布才接近正態(tài)分布

14、。若從??0的總體中隨機(jī)抽樣，樣本相關(guān)系數(shù)并不呈正態(tài)分布。數(shù)理統(tǒng)計(jì)證明：把r按下式轉(zhuǎn)換成Z值時(shí)，則不論?為何值，Z值的分布均近似正態(tài)分布P125,例9－4,,,五、總體相關(guān)系數(shù)的區(qū)間估計(jì)將r進(jìn)行Z轉(zhuǎn)換，對(duì)Z用正態(tài)法估計(jì)95％可信區(qū)間，最后將Z作反變換，得相關(guān)系數(shù)95％可信區(qū)間,,六、相關(guān)和回歸的關(guān)系(一)區(qū)別：1、資料要求不同：回歸要求應(yīng)變量Y服從正態(tài)分布，X是可以精確測(cè)量和嚴(yán)格控制的變量，一般稱為I型回歸。相關(guān)要求兩個(gè)

15、變量服從雙變量正態(tài)分布，這種資料若進(jìn)行回歸分析，稱II型回歸。可得到由X推Y和由Y推X兩個(gè)回歸方程2、應(yīng)用情況不同說(shuō)明兩變量間依存變化的數(shù)量關(guān)系用回歸，說(shuō)明變量間的相關(guān)關(guān)系用相關(guān),,(二)、聯(lián)系1、方向一致：對(duì)一組數(shù)據(jù)若同時(shí)計(jì)算r和b，它們的正負(fù)號(hào)是一致的。r為正號(hào)說(shuō)明兩變量間的相互關(guān)系是同向變化的，b為正，說(shuō)明x增(減)一個(gè)單位，y平均增(減)b個(gè)單位。2、假設(shè)檢驗(yàn)等價(jià)對(duì)同一樣本， r和b的假設(shè)檢驗(yàn)得到的t值相等。由于r檢

16、驗(yàn)可以直接查表，而b的假設(shè)檢驗(yàn)計(jì)算較繁，故實(shí)際中常用前法代替后法3、用回歸解釋相關(guān),,(1)r的平方稱為決定系數(shù)coefficient of determination說(shuō)明SS總固定不變時(shí)，回歸平方和的大小決定了r的大小?；貧w平方和越接近總平方和，則r越接近1。r2表示回歸平方和在總平方和中所占的比例，即總變異中可以用回歸解釋的部分，說(shuō)明兩變量間的相關(guān)關(guān)系的實(shí)際意義,,(2)剩余平方和相等，但相關(guān)系數(shù)可相差很大，相關(guān)系數(shù)隨著直