多元線性回歸模型的有偏估計

1、1第二章第二章多元線性回歸模型的有偏估計多元線性回歸模型的有偏估計模型的參數(shù)估計依賴于觀測樣本，樣本是隨機的(至少Y是隨機的)，因此估計量也是隨機的，不一定恰好等于被估計參數(shù)的真值。但是我們希望多次估計的結果的期望值接近或等于真值，即22)?()?(??????EE這就叫無偏估計。無偏估計被認為是一個估計量應有的優(yōu)良性質。但是在一些場合，滿足無偏性的估計量卻不具備其它應有的優(yōu)良性，比如說穩(wěn)定性、容許性。統(tǒng)計學家提出了一些新的估計方法，它

2、們往往不具備無偏性，但在特定場合綜合起來考慮還是解決問題較好的。本章就分別介紹這些特定場合下的有偏估計。第一節(jié)第一節(jié)設計矩陣列復共線與嶺回歸設計矩陣列復共線與嶺回歸一、設計矩陣列復共線的影響一、設計矩陣列復共線的影響上一章最后一節(jié)講的是設計矩陣列向量完全線性相關，|X′X|=0的情況。實際工作中常遇到的是，設計矩陣的列向量存在近似線性相關(稱為復共線(multicollinearity))，|X′X|≈0。此時一般最小二乘方法盡管可以進

3、行，但估計的性質變壞，主要是對觀測誤差的穩(wěn)定性變差，嚴重時估計量可能變得面目全非。例如我們建立二元線性回歸模型（2.1.1）????21XXY有關資料在下面運算過程可以看到?？匆豢丛假Y料，它近似滿足Yi=X1iX2i應該估計出?？墒俏覀冋{用普通最小二乘回歸程序，運算結果卻是1?1?0?210??????（2.1.2）?????21566.14330.00033.0XXY對現(xiàn)有數(shù)據(jù)擬合的還挺好，兩條曲線幾乎成了一條曲線(圖2.1.1.

4、1)，F(xiàn)值為303744，但是代入X1=0X2=10預測值卻為15.66，這與原模型應有的預測值10相距甚遠。嶺回歸與嶺跡圖計算程序例2.1.4例214.D數(shù)據(jù)文件中n=8M=2要顯示原始資料嗎0=不顯示1=顯示2.0100.99001.01003要作回歸預測嗎鍵入0=不預測1=要預測(0)要打印擬合數(shù)據(jù)嗎0=不打印1=打印(1)Y的觀測值Y的擬合值差值2.01002.0136.00361.99001.9953.00534.01003.

5、9987.01135.99006.0030.01308.01007.9977.01237.99007.9881.001910.010010.0001.009911.990012.0035.0135計算結束。下面顯示擬合圖像。圖2.1.1.10246810121412345678原始數(shù)據(jù)擬合數(shù)據(jù)對此我們可以作如下理論分析。作為β的估計是否優(yōu)良，應該考察它與β的接近程??度，這可以用的均方誤差(MeanSquareErr)來度量：??（2.