正態(tài)條件下回歸的推論

1、第六章 正態(tài)條件下回歸的推論,問題的提出,在前述各章中我們假定隨機擾動項服從均值=0，方差等于（常數(shù)），獨立同分布。但是，并沒有假定隨機擾動項服從何種具體的分布。由于沒有假定服從何種具體的分布，因而無法計算隨機擾動項取不小于某值的概率，因而也無法計算估計量取某種值的概率，也就無法對統(tǒng)計量進行假設(shè)檢驗和進行區(qū)間估計。點估計給出是某個具體的數(shù)值，無法給出相應(yīng)的可靠性，也就是我們得出的結(jié)論的缺乏可靠性，從而降低了結(jié)論的有效性與實用性。

2、如果假定隨機擾動項服從正態(tài)分布，那么估計量就可立即得到相應(yīng)的區(qū)間估計及其概率，也就是結(jié)論具有了可靠性。,同方差=常數(shù)，協(xié)方差=0,同方差=常數(shù)，協(xié)方差=0nxn，x,Z自變量與隨機擾動項無關(guān)，從而自變量之間也無關(guān)。,X是確定性變量，Y只有垂直變動,解決問題的思路,首先，復(fù)習(xí)有關(guān)正態(tài)分布的一些結(jié)論進而假定隨機擾動項服從正態(tài)分布導(dǎo)出估計量也服從正態(tài)分布給出關(guān)于估計量的假設(shè)檢驗和區(qū)間估計再給出利用模型進行預(yù)測的可靠性，使模型能夠運用

3、于實際,有關(guān)正態(tài)分布的一些結(jié)論,1、正態(tài)分布的線性組合也服從正態(tài)分布2、標準正態(tài)分布的平方和服從卡平方分布3、標準正態(tài)分布除以卡平方分布及其自由度的商，服從t分布4、兩個卡平方分布分別除以各自自由度的商之比服從F分布,第一節(jié) 問題的引入,1、假定隨機擾動項服從正態(tài)分布，導(dǎo)出Yi也服從正態(tài)分布2、一元模型中斜率也服從正態(tài)分布3、一元模型中截距也服從正態(tài)分布4、回歸估計系數(shù)的分布的總結(jié),1、假定隨機擾動項服從正態(tài)分布，導(dǎo)出Yi也

4、服從正態(tài)分布,,2、一元模型中斜率也服從正態(tài)分布,,3、一元模型中截距也服從正態(tài)分布,,4、回歸估計系數(shù)的分布的總結(jié),,第二節(jié) 問題的解決,1、解決問題的關(guān)鍵是樣本帶來了總體的信息，所以用樣本的信息去估計總體的信息。2、用殘差去估計總體的隨機擾動項，進而用殘差的方差去估計隨機擾動項的方差3、構(gòu)造殘差的方差為隨機擾動項方差的無偏估計量。4、隨機擾動項方差的估計量S2的分布,1、解決問題的關(guān)鍵是用樣本殘差去估計總體的隨機擾動項,解決

5、問題的關(guān)鍵是用樣本殘差去估計總體的隨機擾動項。進而用樣本殘差的方差S2去估計隨機擾動項的方差——?2最后，在隨機擾動項服從正態(tài)分布的假定下，導(dǎo)出樣本殘差方差S2的性質(zhì)或分布,2、隨機擾動項方差的估計量,為什么是n-k-1?（第三節(jié)）,,3、隨機擾動項方差估計量的性質(zhì),（1）無偏性E(S2)=?2（2）隨機擾動項方差估計量S2服從卡方分布，自由度 = n-k-1,第三節(jié) 派生內(nèi)容：自由度,1、什么是自由度2、對應(yīng)于平方和分解的自由

6、度的分解3、k元模型中隨機擾動項的自由度為什么=n-k-1?,1、什么是自由度,模型中樣本值可以自由變動的個數(shù)，稱為自由度自由度=樣本個數(shù)- 樣本數(shù)據(jù)受約束條件（方程）的個數(shù)例如，樣本數(shù)據(jù)個數(shù)=n，它們受k+1個方程的約束（這n個數(shù)必須滿足這k+1個方程）那么，自由度df = n-k-1,數(shù)據(jù)個數(shù)與約束方程,Y1+Y2+Y3=7 Y1=7那么Y2、Y3中只有1個是自由的。又如： Y1+Y2+Y3+Y4=7 Y1=

7、7那么，Y2、Y3、Y4中只有2個是自由的,,,2、對應(yīng)于平方和分解的自由度的分解,自由度=變量個數(shù) - 約束方程個數(shù)TSS=RSS+ESS dfT=dfR+dfEdfT=n-1dfR=kdfE=dfT-dfR= n-1-k = n - (k+1),3、k元模型中隨機擾動項的自由度為什么=n-k-1?,,第四節(jié) 回歸系數(shù)的假設(shè)檢驗,1、大樣本與小樣本2、斜率的分布3、回歸系數(shù)假設(shè)檢驗的意義4、假設(shè)檢驗

8、的原理5、假設(shè)檢驗的種類6、F檢驗的步驟7、t檢驗的步驟8、回歸分析進行假設(shè)檢驗的步驟,1、大樣本與小樣本,中心極限定理告述我們：隨機變量X無論服從什么分布，只要它的方差存在，只要樣本個數(shù)n充分的大，X的平均數(shù)就服從正態(tài)分布。那么，充分大在實際應(yīng)用中怎樣掌握呢？凡是 n >30，我們就可以認為它具有此種極限性質(zhì)，稱為大樣本。否則，就稱為小樣本，小樣本不具有此種極限性質(zhì)。,2、斜率的分布,（1）已知?2或大樣本情形

9、（2）未知?2且為小樣本情形,（2）未知?2且為小樣本情形,,3、回歸系數(shù)假設(shè)檢驗的意義,通過F檢驗只是對方程作為一個整體進行檢驗，只要其中一個或幾個自變量的系數(shù)顯著不為零，整個方程就是有意義的。但是，還必須繼續(xù)對各個自變量的系數(shù)進行檢驗，否則方程中會包含一些對因變量從統(tǒng)計意義上說沒有意義的自變量,3、回歸系數(shù)假設(shè)檢驗的意義,例如：Y^=1.78+1.56X1+0.036X2對多元回歸除了進行整體檢驗外，還需要分別對X1和X

10、2的系數(shù)進行t檢驗。對X1的系數(shù)檢驗，計算出來的t大于臨界值，拒絕H0，即X1的系數(shù)與0有顯著的差異，認為X1對Y有意義；對X2的系數(shù)檢驗，計算出來的t小于臨界值，不拒絕H0，認為X2的系數(shù)與0沒有本質(zhì)的差異，雖然它=0.036，于是認為X2對Y沒有意義，是方程中的累贅，應(yīng)剔除，重新估計方程。因此，要求方程中所有系數(shù)都應(yīng)與0差異顯著。,4、假設(shè)檢驗的原理,1、提出二擇一的假設(shè)H0（往往與試驗?zāi)康南喾矗┡cHA（往往是欲得到的結(jié)論）

11、2、給定顯著水平（小概率）3、在H0成立下，收集數(shù)據(jù)，尋找檢驗統(tǒng)計量（如t、F），肯定知道統(tǒng)計量的分布，可計算各種取值的概率4、找出小概率發(fā)生的臨界值5、將樣本值和H0代入檢驗統(tǒng)計量進行計算6、將計算結(jié)果與臨界值比較，若大于臨界值，小概率事件發(fā)生，根據(jù)小概率原理，在一次試驗中小概率事件是不會發(fā)生的?，F(xiàn)在，居然發(fā)生了。錯在哪里？7、原來是假設(shè)H0錯了，因為一切都是在H0成立下推證的，于是拒絕H0。否則，不拒絕H0,大海里撈針——

12、反證法,H0：一棵針掉進了大海里（海底只有一棵針）HA：海底不只一棵針顯著水平=0.01（小概率）進行試驗——到海底撈針通常用大海里撈針比喻不可能發(fā)生的事現(xiàn)在，一次潛水（試驗）就撈上一棵針，這掉下的一棵針居然被我們撈上來，不可能發(fā)生的事件發(fā)生了，于是拒絕H0，認為大海里不只一個針。,兩類錯誤之一——棄真,1、H0：海底只有一棵針。但一次試驗撈了上來。因為小概率事件發(fā)生，必須拒絕（H0）。然而海底真的只有一棵針，結(jié)論說不只一棵針

13、。犯棄真錯誤了，只有拒絕H0時才會犯棄真錯誤2、此時犯了棄真的錯誤，但是犯棄真錯誤的可能性，事先已經(jīng)控制——只有顯著水平?（小概率）那么大3、所以拒絕不僅是堅決的，而且犯錯誤的概率（冒險率是事先控制的）也很小。所得結(jié)論的可靠性 = 1-??4、所以，人們提出的H0通常是無效的,犯兩類錯誤之二——納偽,H0：某某（高考的考生）= 大學(xué)生（準予參考就是提出這個假設(shè)，即假設(shè)他是優(yōu)秀青年）進行抽樣試驗——參加高考檢驗統(tǒng)計量——考試總分

14、（包括加分）眾所周知，大學(xué)生乃同齡人中的佼佼者，而該某某平時素質(zhì)和學(xué)業(yè)平平，距高等學(xué)府之路遙遙，被錄?。偡殖^報考學(xué)校的錄取線）的概率很小。H0成立下，優(yōu)秀畢業(yè)生考分低于錄取線（失常）的概率很小。在此次抽樣中他的總分喜煞人，由于小概率事件（優(yōu)秀者失常）沒有發(fā)生，于是不能拒絕H0。某某順利進入重慶某學(xué)院，顯然屬于納偽。,不拒絕H0是無可奈何,某某進入高校，招生犯了納偽的錯誤進行檢驗時，沒有事先控制納偽的概率?——無法度量犯納偽的可

15、能性。也就不能給出不拒絕H0結(jié)論（錄取進大學(xué)）的可靠性（1- ? ）。就本次試驗而言，不拒絕H0是無可奈何的。千萬不可，以接受H0作為我們研究的結(jié)論。欲證明H0成立必須繼續(xù)抽樣、繼續(xù)檢驗，并采用功效函數(shù)。所以某某進校后不斷地被抽樣、被檢驗,5、假設(shè)檢驗的種類,1、參數(shù)檢驗已知分布形式，檢驗分布的參數(shù)，例如檢驗均值或檢驗方差2、非參數(shù)檢驗檢驗隨機變量的分布形式，例如是否服從正態(tài)分布本課程主要討論參數(shù)檢驗,6、假設(shè)檢驗的步驟—

16、—t檢驗為例,1、提出假設(shè)H0和HA2、收集數(shù)據(jù)估計出b^3、計算出?2的估計量s24、計算檢驗統(tǒng)計量t（代入假設(shè)H0）5、根據(jù)顯著水平?，查出臨界值t?6、作出統(tǒng)計推斷：如果t>t ?，拒絕H0；否則不拒絕H0。t的絕對值越大，自變量對因變量的作用越顯著。,t檢驗的步驟,,,假設(shè)檢驗與區(qū)間估計是一個問題的兩個方面,,,F檢驗的步驟,假定隨機擾動項u服從正態(tài)分布。檢驗?zāi)繕耸锹?lián)合檢驗，（1）提出假設(shè)H0: b1 = b2

17、 =b3 =……=bk=0（2）適合的檢驗統(tǒng)計量（3）根據(jù)冒險率?，確定臨界值F?（4）將計算出的F與臨界值F?比較（5）下結(jié)論：若F>臨界值F?，則拒絕H0；若F<=臨界值F?，則不拒絕H0（6）結(jié)合經(jīng)濟學(xué)理論與經(jīng)驗，下經(jīng)濟學(xué)的結(jié)論或進行經(jīng)濟學(xué)分析,7、回歸分析進行假設(shè)檢驗的步驟,（1）查看擬合優(yōu)度，進行F檢驗，從整體上判斷回歸方程是否成立，如果F檢驗通不過，無須進行下一步；否則進行下一步（2）查看各個

18、變量的t值及其相應(yīng)的概率，進行t檢驗，如果相應(yīng)的概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為0，該自變量對因變量作用顯著；否則系數(shù)與0無顯著差異（本質(zhì)上=0），該自變量對因變量無顯著的作用，應(yīng)從方程中刪去，重新估計方程。（3）但是，一次只能將最不顯著（相應(yīng)概率最大）的刪除。,第五節(jié) 預(yù)測,1、預(yù)測的定義2、利用模型進行預(yù)測的種類3、一般水平的預(yù)測4、個體水平的預(yù)測5、預(yù)測的精度6、滯后模型進行預(yù)測7、案例分析——假日旅

19、館房間收入的預(yù)測8、指數(shù)平滑預(yù)測,1、預(yù)測的定義,預(yù)測是對于未來或未知的預(yù)計與推測預(yù)測不是臆測，這里的預(yù)測是科學(xué)的預(yù)測，它是建立在對預(yù)測對象認識、分析和科學(xué)的推理基礎(chǔ)之上的。由于客觀世界的復(fù)雜性和不確定性與人類認識的矛盾，以及預(yù)測科學(xué)（又稱未來學(xué)）仍然處于成長階段，還有預(yù)測手段的不完善，尤其是與進行預(yù)測人員的素質(zhì)、知識、經(jīng)驗、魄力、膽略、價值取向密切相關(guān)，所以預(yù)測既是一門科學(xué)又是一門藝術(shù)。,2、利用模型進行預(yù)測的種類,（1）定性預(yù)

20、測與定量預(yù)測（2）模型預(yù)測與非模型預(yù)測即利用回歸直線或其它模型進行預(yù)測，由于回歸直線本身有一個變動幅度（隨抽樣不同而不同），也一定存在誤差。一般水平預(yù)測與個別值的預(yù)測點預(yù)測與區(qū)間預(yù)測（3）超長期預(yù)測、長期預(yù)測、中期預(yù)測、短期預(yù)測（4）情景預(yù)測,3、一般水平的預(yù)測,關(guān)于平均水平的預(yù)測——關(guān)于E(y^)=a^+b^x均值的預(yù)測因為隨機擾動項的平均數(shù)=0，所以隨機擾動項對預(yù)測值沒有影響隨機擾動項有一個變動幅度，由于沒有考慮隨機

21、擾動項的變動幅度因此，預(yù)測的方差會相應(yīng)的小些為什么一般水平的預(yù)測也會存在預(yù)測誤差呢？因為a^和b^隨著樣本的不同而不同，有一個變動幅度，所以E(y^)也有一個變動幅度。,,,影響預(yù)測誤差的因素,1、 ? ? ?（1-?）??t???預(yù)測誤差?（只有這么多信息，可靠性??預(yù)測誤差? ，可靠性? ?預(yù)測誤差? ）2、x ?均值?預(yù)測誤差?3、x方差? ?預(yù)測誤差?4、n ? ?預(yù)測誤差?,4、個體水平的預(yù)測,是關(guān)于個別值（Yi）的

22、預(yù)測，因為一個Xi會對應(yīng)多個Yi，由于考慮了隨機擾動項的變動（一般水平預(yù)測，隨機擾動項=0，不于考慮）個別值總是在均值附近振動外再加一個隨機擾動項的變動，所以個體預(yù)測值的變動幅度大些。個體水平的預(yù)測是關(guān)于Yi=a+bXi+ui的預(yù)測,個別值的預(yù)測誤差自然比一般水平的預(yù)測誤差增大,5、滯后模型進行預(yù)測,,7、案例分析——假日旅館房間收入的預(yù)測,已知（美國1970-1980年間）： 房間總收入= 房間租用率

23、 X 房間總數(shù) X 平均租金要求：根據(jù)美國假日旅館近年來的年報和美國政府公布的資料，預(yù)測假日旅館明年房間總收入？,資料（LX4\SHM31）,,預(yù)測步驟,1、預(yù)測房間租用率FJZYL2、預(yù)測平均房租FZ3、預(yù)測房間數(shù)目FJSHM4、預(yù)測房間總收入 =FJZYL X FZ X FJSHM,分析房間租用率,假日旅館的房間租用率與美國經(jīng)濟形勢有關(guān)，而失業(yè)率是一個反映經(jīng)濟形勢的很好的指標而且，經(jīng)驗表明短期利率是反映和預(yù)

24、測今后一般經(jīng)濟活動很好的指標當然，不能僅用失業(yè)率的下降趨勢來解釋租用率的上升，它們還受發(fā)展趨勢的影響，所以生成一個增長趨勢指標QSH,租用率關(guān)于失業(yè)率和趨勢回歸,,考慮不知道當期值不能預(yù)測,,當含有被解釋變量滯后值滯后就不使用趨勢變量,,引入商業(yè)證券利率,,預(yù)測房租,,預(yù)測房間數(shù)目,,VariableCoefficientStd. ErrorT-StatisticProb. SHYL -1.854182 0.385

25、229-4.8131940.0013QSH 0.784188 0.134062 5.8494610.0004C 69.87705 2.329669 29.994410.0000R-squared 0.831986 Mean dependent var 70.00909Adjusted R-squared 0.789983

26、 S.D. dependent var 2.703499S.E. of regression 1.238950 Akaike info criterion 0.655529Sum squared resid 12.27998 Schwartz criterion 0.764046Log likelihood -16.21373 F-statistic

27、19.80757Durbin-Watson stat 1.556777 Prob(F-statistic) 0.000797,租用率關(guān)于失業(yè)率 和趨勢回歸,,由于不能事先得到1981年的失業(yè)率，所以不能利用上述方程進行預(yù)測，但是方程反映出變量之間的關(guān)系，進一步證實租用率與失業(yè)率有非常相似的周期不過，假日旅館的租用率呈上升趨勢，大約每年遞增0.7%,8、指數(shù)平滑預(yù)測,,指數(shù)平滑法的使用,,指數(shù)平滑報