多元線性回歸模型的有偏估計(jì)

1、1第二章第二章多元線性回歸模型的有偏估計(jì)多元線性回歸模型的有偏估計(jì)模型的參數(shù)估計(jì)依賴于觀測樣本，樣本是隨機(jī)的(至少Y是隨機(jī)的)，因此估計(jì)量也是隨機(jī)的，不一定恰好等于被估計(jì)參數(shù)的真值。但是我們希望多次估計(jì)的結(jié)果的期望值接近或等于真值，即22)?()?(??????EE這就叫無偏估計(jì)。無偏估計(jì)被認(rèn)為是一個(gè)估計(jì)量應(yīng)有的優(yōu)良性質(zhì)。但是在一些場合，滿足無偏性的估計(jì)量卻不具備其它應(yīng)有的優(yōu)良性，比如說穩(wěn)定性、容許性。統(tǒng)計(jì)學(xué)家提出了一些新的估計(jì)方法，它

2、們往往不具備無偏性，但在特定場合綜合起來考慮還是解決問題較好的。本章就分別介紹這些特定場合下的有偏估計(jì)。第一節(jié)第一節(jié)設(shè)計(jì)矩陣列復(fù)共線與嶺回歸設(shè)計(jì)矩陣列復(fù)共線與嶺回歸一、設(shè)計(jì)矩陣列復(fù)共線的影響一、設(shè)計(jì)矩陣列復(fù)共線的影響上一章最后一節(jié)講的是設(shè)計(jì)矩陣列向量完全線性相關(guān)，|X′X|=0的情況。實(shí)際工作中常遇到的是，設(shè)計(jì)矩陣的列向量存在近似線性相關(guān)(稱為復(fù)共線(multicollinearity))，|X′X|≈0。此時(shí)一般最小二乘方法盡管可以進(jìn)

3、行，但估計(jì)的性質(zhì)變壞，主要是對(duì)觀測誤差的穩(wěn)定性變差，嚴(yán)重時(shí)估計(jì)量可能變得面目全非。例如我們建立二元線性回歸模型（2.1.1）????21XXY有關(guān)資料在下面運(yùn)算過程可以看到?？匆豢丛假Y料，它近似滿足Yi=X1iX2i應(yīng)該估計(jì)出。可是我們調(diào)用普通最小二乘回歸程序，運(yùn)算結(jié)果卻是1?1?0?210??????（2.1.2）?????21566.14330.00033.0XXY對(duì)現(xiàn)有數(shù)據(jù)擬合的還挺好，兩條曲線幾乎成了一條曲線(圖2.1.1.

4、1)，F(xiàn)值為303744，但是代入X1=0X2=10預(yù)測值卻為15.66，這與原模型應(yīng)有的預(yù)測值10相距甚遠(yuǎn)。嶺回歸與嶺跡圖計(jì)算程序例2.1.4例214.D數(shù)據(jù)文件中n=8M=2要顯示原始資料嗎0=不顯示1=顯示2.0100.99001.01003要作回歸預(yù)測嗎鍵入0=不預(yù)測1=要預(yù)測(0)要打印擬合數(shù)據(jù)嗎0=不打印1=打印(1)Y的觀測值Y的擬合值差值2.01002.0136.00361.99001.9953.00534.01003.

5、9987.01135.99006.0030.01308.01007.9977.01237.99007.9881.001910.010010.0001.009911.990012.0035.0135計(jì)算結(jié)束。下面顯示擬合圖像。圖2.1.1.10246810121412345678原始數(shù)據(jù)擬合數(shù)據(jù)對(duì)此我們可以作如下理論分析。作為β的估計(jì)是否優(yōu)良，應(yīng)該考察它與β的接近程??度，這可以用的均方誤差(MeanSquareErr)來度量：??（2.