第三章多元線性回歸模型

1、第三章多元線性回歸模型,主要內(nèi)容,多元線性回歸模型的一般形式 參數(shù)估計(jì)（ OLS估計(jì)）假設(shè)檢驗(yàn)預(yù)測,一. 多元線性回歸模型,問題的提出解析形式矩陣形式,問題的提出,現(xiàn)實(shí)生活中引起被解釋變量變化的因素并非僅只一個(gè)解釋變量，可能有很多個(gè)解釋變量。例如，產(chǎn)出往往受各種投入要素——資本、勞動(dòng)、技術(shù)等的影響；銷售額往往受價(jià)格和公司對廣告費(fèi)的投入的影響等。所以在一元線性模型的基礎(chǔ)上，提出多元線性模型——解釋變量個(gè)數(shù)≥ 2,多元線

2、性回歸模型的假設(shè),解釋變量 Xi 是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)，即無多重共線性。隨機(jī)誤差項(xiàng)具有0均值和同方差隨機(jī)誤差項(xiàng)不存在序列相關(guān)關(guān)系隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布,多元模型的解析表達(dá)式,多元模型的矩陣表達(dá)式,矩陣形式,二. 參數(shù)估計(jì)(OLS),參數(shù)值估計(jì)參數(shù)估計(jì)量的性質(zhì)偏回歸系數(shù)的含義正規(guī)方程樣本容量問題,1.參數(shù)值估計(jì)(OLS),,得到下列方程組,求參數(shù)估計(jì)

3、值的實(shí)質(zhì)是求一個(gè)k+1元方程組,正規(guī)方程,變成矩陣形式,,正規(guī)方程,矩陣形式,,最小二乘法的矩陣表示,,2.1最小二乘估計(jì)量的性質(zhì),（1）線性（估計(jì)量都是被解釋變量觀測值的線性組合）（2）無偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值）（3）有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）,OLS估計(jì)量的性質(zhì)（續(xù)）,線性,無偏性,有效性,2.2 OLS回歸線的性質(zhì),完全同一元情形：,2.3 隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì),注解：k與k+1,凡是按

4、解釋變量的個(gè)數(shù)為k的，那么共有k+1個(gè)參數(shù)要估計(jì)。而按參數(shù)個(gè)數(shù)為k的，則實(shí)際有k-1個(gè)解釋變量。總之兩者相差1而已！要小心所用的k是什么意思！所以如果本來是用解釋變量個(gè)數(shù)的k表示的要轉(zhuǎn)換成參數(shù)個(gè)數(shù)的k則用k-1代換原來的k就可以了！,3.偏回歸系數(shù)的意義,多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個(gè)單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動(dòng),4.正規(guī)方程,由最

5、小二乘法得到的用以估計(jì)回歸系數(shù)的線性方程組，稱為正規(guī)方程,正規(guī)方程的結(jié)構(gòu),Y ——被解釋變量觀測值 n x 1X ——解釋變量觀測值（含虛擬變量n x (k+1) ）X`X ——設(shè)計(jì)矩陣（實(shí)對稱(k+1) x (k+1)矩陣 ）X`Y ——正規(guī)方程右端 n x 1 ——回歸系數(shù)矩陣（ (k+1) x 1 ） ——高斯乘數(shù)矩陣， 設(shè)計(jì)矩陣的逆 ——?dú)埐钕蛄浚?n x 1 ）

6、 ——被解釋變量的擬合（預(yù)測）向量 n x 1,5.多元回歸模型參數(shù)估計(jì)中的樣本容量問題,樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。最小樣本容量：滿足基本要求的樣本容量,最小樣本容量 n ≥ k+1,(X`X)-1存在?| X`X | 0 ? X`X 為k+1階的滿秩陣R(AB) ≤ min(R(A),R(B))R(X) ≥ k+1因此，必須

7、有n≥k+1,滿足基本要求的樣本容量,一般經(jīng)驗(yàn)認(rèn)為：n ≥ 30或者n ≥ 3(k+1)才能滿足模型估計(jì)的基本要求。n ≥ 3(k+1)時(shí)，t分布才穩(wěn)定，檢驗(yàn)才較為有效,第三節(jié) 多元線性回歸模型的檢驗(yàn),本節(jié)主要介紹：3.1 擬合優(yōu)度檢驗(yàn)（判定系數(shù)及其校正）3.2 回歸參數(shù)的顯著性檢驗(yàn)（t－檢驗(yàn)）3.3 回歸方程的顯著性檢驗(yàn)（F－檢驗(yàn)）3.4 擬合優(yōu)度、t－檢驗(yàn)、F－檢驗(yàn)的關(guān)系,3.1.1 擬合優(yōu)度檢驗(yàn) －總平

8、方和、自由度的分解,目的：構(gòu)造一個(gè)不含單位，可以相互比較，而且能直觀判斷擬合優(yōu)劣的指標(biāo)。類似于一元情形，先將多元線性回歸作如下平方和分解：,對以上自由度的分解的說明,3.1.2 判定系數(shù),判定系數(shù)的定義：意義：判定系數(shù)越大，自變量對因變量的解釋程度越高，自變量引起的變動(dòng)占總變動(dòng)的百分比高。觀察點(diǎn)在回歸直線附近越密集。取值范圍：0-1,3.1.3 校正判定系數(shù),為什么要校正？判定系數(shù)隨解釋變量個(gè)數(shù)的增加而增大。易造成錯(cuò)覺

9、：要模型擬合得越好，就應(yīng)增加解釋變量。然而增加解釋變量會降低自由度，減少可用的樣本數(shù)。并且有時(shí)增加解釋變量是不必要的。導(dǎo)致解釋變量個(gè)數(shù)不同模型之間對比困難。判定系數(shù)只涉及平方和，沒有考慮自由度。校正思路： 引進(jìn)自由度校正所計(jì)算的平方和。,校正判定系數(shù) （續(xù)）,3.2 回歸參數(shù)的顯著性檢驗(yàn) —— t－檢驗(yàn),以下給出t-檢驗(yàn)的具體過程,3.3 回歸方程的顯著性檢驗(yàn) ——（F－檢驗(yàn)）,

10、回歸系數(shù)的t－檢驗(yàn)，檢驗(yàn)了各個(gè)解釋變量Xj單獨(dú)對應(yīng)變量Y是否顯著；我們還需要檢驗(yàn)：所有解釋變量聯(lián)合在一起，是否對應(yīng)變量Y也顯著？這即是下面所要進(jìn)行的F-檢驗(yàn)。,3.3.1 方差分析表,以下用表格的形式列出平方和、自由度、方差,3.3.2 F－檢驗(yàn)（單側(cè)檢驗(yàn)）,3.4 各種檢驗(yàn)之間的關(guān)系,3.4.1 經(jīng)濟(jì)意義檢驗(yàn)和其他檢驗(yàn)的關(guān)系聯(lián)系： 判斷一個(gè)回歸模型是否正確，首先要看模型是否具有合理的經(jīng)濟(jì)意義，其次才是統(tǒng)計(jì)檢

11、驗(yàn)。,3.4.2 擬合優(yōu)度和F－檢驗(yàn)的關(guān)系,（1）都是對回歸方程的顯著性檢驗(yàn)；（2）都是把總平方和分解，以構(gòu)成統(tǒng)計(jì)量進(jìn)行檢驗(yàn)；（3）兩者同增同減，具有一致性。,擬合優(yōu)度和F－檢驗(yàn)的關(guān)系（續(xù)）,區(qū)別：（1）F－檢驗(yàn)中使用的統(tǒng)計(jì)量有精確的分布，而擬合優(yōu)度檢驗(yàn)沒有；（2）對是否通過檢驗(yàn)，判定系數(shù)（校正判定系數(shù)）只能給出一個(gè)模糊的推測；而F檢驗(yàn)可以在給定顯著水平下，給出統(tǒng)計(jì)上的嚴(yán)格結(jié)論；,3.4.2 F－檢驗(yàn)和t－檢驗(yàn)的關(guān)系,在一元

12、的情形，兩者是一致的，等價(jià)的。對單個(gè)解釋變量顯著性進(jìn)行t檢驗(yàn)，也就檢驗(yàn)了解釋變量的整體顯著性（F檢驗(yàn)）；并且可以證明：F＝t2 （所以在一元情形，只需要進(jìn)行一種檢驗(yàn)）多元中，不存在以上關(guān)系。,回歸模型假設(shè)檢驗(yàn)的步驟,查看擬合優(yōu)度，進(jìn)行F檢驗(yàn)，從整體上判斷回歸方程是否成立，如果F檢驗(yàn)通不過，無須進(jìn)行下一步；否則進(jìn)行下一步查看各個(gè)變量的t值及其相應(yīng)的概率，進(jìn)行t檢驗(yàn)，如果相應(yīng)的概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為0，該自變