統(tǒng)計學(xué)專業(yè)畢業(yè)論文--多元線性回歸模型及其應(yīng)用

1、<p>　　多元線性回歸模型及其應(yīng)用</p><p>　　摘要：本文分析了多元線性回歸模型及其應(yīng)用，側(cè)重多元線性回歸模型的預(yù)測。首先介紹了模型，多元線性回歸模型的步驟大致為模型的建立、基本假設(shè)、模型的檢驗、預(yù)測。在模型的建立過程中，檢驗是建模的核心，模型的檢驗包括擬合檢驗、F檢驗、t檢驗。如果初始模型未能通過t檢驗，本文采用后退法剔除不顯著的變量，重新建立多遠線性回歸模型。然后本文采用2005、2006

2、年我國31個省、市、自治區(qū)的財政支出數(shù)據(jù)和2005年我國各地生產(chǎn)總值數(shù)據(jù)，建立多元線性回歸模型，預(yù)測2006年我國各地生產(chǎn)總值，并將預(yù)測數(shù)據(jù)與實際數(shù)據(jù)進行比較分析。通過實例分析了解多元線性回歸模型及其應(yīng)用。建模過程中的數(shù)學(xué)運算采用數(shù)學(xué)軟件SPSS和Matlab進行運算。</p><p>　　關(guān)鍵詞：多元線性回歸；模型檢驗；后退法；預(yù)測</p><p>　　Multiple linear r

3、egression model and its application</p><p>　　Abstract:this article analyzes the multivariate linear regression model and its application, focusing 

4、on the multiple linear regression model prediction. First introduces the model of multivariate linear regression model of step rou

5、ghly model, basic assumptions, inspection, and prediction ability of the model. , in the process of the establishment of the&

6、#160;model test is the core of the modeling, model testing including fitting test, F test and t test. If has failed 

7、;t test on initial model, based o</p><p>　　Key words: Multiple linear regression；Model checking；Backward elimination; Forecast</p><p><b>　　引言</b></p

8、><p>　　回歸是社會科學(xué)定量研究方法中最基本、應(yīng)用最廣泛的一種數(shù)據(jù)分析技術(shù)。它能夠把隱藏在大規(guī)模原始數(shù)據(jù)中的重要信息提煉出來，把握住數(shù)據(jù)的主要特征，從而得到變量間相關(guān)關(guān)系的數(shù)學(xué)表達式，還可以基于自變量的取值變化來預(yù)測因變量的取值，它在工農(nóng)業(yè)生產(chǎn)和科學(xué)研究及國民經(jīng)濟的各個領(lǐng)域均有廣泛的應(yīng)用。本文主要運用多元線性回歸模型分析2005年各地財政支出（基本建設(shè)支出、科技三項費用、農(nóng)業(yè)支出、教育事業(yè)費、科學(xué)事業(yè)費等）對生產(chǎn)

9、總值的影響，并擬合成函數(shù)對生產(chǎn)總值進行預(yù)測，將預(yù)測值與2006年數(shù)據(jù)進行比較，從而體現(xiàn)多元線性回歸模型預(yù)測的準確性。</p><p><b>　　模型介紹</b></p><p><b>　　多元線性回歸模型</b></p><p>　　多元線性回歸模型的一般形式[1]</p><p>　　設(shè)隨機變

10、量與一般變量的線性回歸模型為：</p><p><b>　　（2.1）</b></p><p>　　式中，是個未知參數(shù)；稱為回歸常數(shù)；稱為回歸系數(shù)；稱為被解釋變量（因變量），而是個可以精確測量并可控制的一般變量，稱為解釋變量（自變量）。時，就稱式（2.1）為多元線性回歸模型。是隨機誤差項。</p><p>　　對于一個實際問題，如果我們獲得組觀

11、測數(shù)據(jù)，則線性回歸模型（2.1）可表示為：</p><p><b>　?。?.2）</b></p><p><b>　　寫成矩陣形式為:</b></p><p><b>　　（2.3）</b></p><p><b>　　其中：</b></p>

12、<p><b>　　（2.4）</b></p><p>　　矩陣是一矩陣，稱為回歸設(shè)計矩陣或資料矩陣。在實驗設(shè)計中，的元素是預(yù)先設(shè)定并可以控制的，人的主觀因素可作用其中，因而稱為設(shè)計矩陣。</p><p>　　多元線性回歸模型的基本假定[2]</p><p>　　為了使參數(shù)估計量具有良好的統(tǒng)計性質(zhì)，對多元線性模型可做出若干基本假設(shè)

13、。</p><p>　　假設(shè)1：回歸模型是正確設(shè)定的。</p><p>　　假設(shè)2：解釋變量是非隨機的或固定的，且各之間不存在嚴格線性相關(guān)性（無完全多重共線性）。</p><p>　　假設(shè)3：各解釋變量在所抽取的樣本中具有變異性，而且隨著樣本容量的無限增加，各解釋變量的樣本方差趨于一個非零的有限常數(shù)，即時，</p><p>　　假設(shè)4：隨機誤

14、差項具有條件零均值、同方差及不序列相關(guān)性</p><p>　　假設(shè)5：解釋變量與隨機項不相關(guān)</p><p>　　假設(shè)6：隨機項滿足正態(tài)分布</p><p>　　多元線性回歸模型的參數(shù)估計</p><p><b>　　普通最小二乘估計</b></p><p>　　所謂最小二乘法，就是尋找參數(shù)的估計

15、值滿足：（2.5）</p><p>　　依照式（2.5）求出的就稱為回歸參數(shù)的最小二乘估計。由微積分知識可知，只需求關(guān)于待估參數(shù)的偏導(dǎo)數(shù)，并令其值為零，就可得到待估參數(shù)估計值的正規(guī)方程組：</p><p><b>　　（2.6）</b></p><p>　　解這個方程組成的線性代數(shù)方程組，即可得到個待估參數(shù)的估計值。</p>&l

16、t;p>　　用矩陣形式表示的正規(guī)方程組</p><p><b>　　(2.7) </b></p><p>　　當存在時，即得回歸參數(shù)的最小二乘估計為：</p><p><b>　?。?.8）</b></p><p><b>　　最大似然估計</b></p>

17、<p>　　對于多元線性回歸模型（2.1）式，由于，所以其中。的隨機抽取的組樣本觀測值的聯(lián)合概率為</p><p><b>　?。?.9）</b></p><p>　　這就是變量的似然函數(shù)。對數(shù)似然函數(shù)為</p><p><b>　?。?.10）</b></p><p>　　對似然函數(shù)求極

18、大值，即對對數(shù)似然函數(shù)求極大值，也就是對求極小值，就可以得到一組參數(shù)估計量，即為參數(shù)的最大似然估計</p><p><b>　?。?.11）</b></p><p>　　顯然，其結(jié)果與參數(shù)的普通最小二乘估計是相同的。</p><p>　　多元線性回歸模型的顯著性檢驗</p><p><b>　　擬合優(yōu)度檢驗[2

19、]</b></p><p>　　在一元線性回歸模型中，使用可決系數(shù)來衡量樣本回歸線對樣本觀測值的擬合優(yōu)度。在多元線性回歸模型中，也可用該統(tǒng)計量來衡量樣本回歸線對樣本觀測值的擬合優(yōu)度。記：</p><p><b>　　總離差平方和：</b></p><p><b>　　回歸平方和：</b></p>

20、<p><b>　　殘差平方和：</b></p><p><b>　　則</b></p><p><b>　?。?.12）</b></p><p><b>　　由于</b></p><p><b>　　（2.13）</b>&

21、lt;/p><p><b>　　所以有</b></p><p><b>　?。?.14）</b></p><p>　　因此在多元線性回歸中，定義可決系數(shù)為：</p><p><b>　　（2.15）</b></p><p>　　樣本可決系數(shù)的取值在區(qū)間內(nèi)，越

22、接近1，表明回歸擬合的效果越好；越接近0，表明回歸擬合的效果越差。</p><p>　　在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，往往增大。這是因為殘差平方和往往隨著解釋變量個數(shù)的增加而減少，至少不會增加。但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的的增大與擬合好壞無關(guān)，因此在多元回歸模型之間比較擬合優(yōu)度，就不是一個合適的指標，必須加以調(diào)整。</p><p>　　在樣本容量一定的情

23、況下，增加解釋變量必定是的自由度減少，所以調(diào)整的思路是將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。記為調(diào)整的可決系數(shù)，則有</p><p><b>　　（2.16）</b></p><p>　　在實際應(yīng)用中，達到多大才算模型通過了檢驗？沒有絕對的標準，要看具體情況而定，模型的擬合優(yōu)度并不是判斷模型質(zhì)量的唯一標準。</p>

24、<p><b>　　F檢驗</b></p><p>　　對多元線性回歸方程的顯著性F檢驗就是要檢驗?zāi)Ｐ妥宰兞繌恼w上對隨機變量是否有明顯影響。為此提出原假設(shè)</p><p>　　如果沒有被拒絕，則表明隨機變量與之間的關(guān)系由線性回歸模型表示不合適。為了建立對進行檢驗的F統(tǒng)計量，仍然利用總離差平方和的分解式，即</p><p>　　構(gòu)

25、造F檢驗統(tǒng)計量如下：</p><p><b>　　（2.17）</b></p><p>　　在正態(tài)假設(shè)下，當原假設(shè)成立時，F(xiàn)遵從自由度為的F分布。于是，可以利用F統(tǒng)計量對回歸方程的總體進行顯著性檢驗檢驗。</p><p>　　回歸系數(shù)的顯著性檢驗</p><p>　　在多元線性回歸中，回歸方程顯著并不意味著每個自變量對的

26、影響都顯著，因此就需要我們對每個自變量進行顯著性檢驗。顯然，如果某個自變量對的作用不顯著，那么在回歸模型中，它的系數(shù)就取值為零。為此提出原假設(shè)</p><p>　　如果不拒絕原假設(shè)，則不顯著；如果拒絕原假設(shè)，則是顯著的。</p><p><b>　　因為</b></p><p><b>　　記</b></p>

27、<p><b>　　于是有</b></p><p>　　據(jù)此可以構(gòu)造t統(tǒng)計量</p><p><b>　?。?.18）</b></p><p><b>　　其中是回歸標準差。</b></p><p>　　當原假設(shè)成立時，式（2.18）構(gòu)造的t統(tǒng)計量遵從自由度為的t分

28、布。給定顯著性水平，查出雙側(cè)檢驗的臨界值。當時拒絕原假設(shè)，認為顯著不為零，自變量對因變量的線性效果顯著；時，不拒絕原假設(shè)，認為為零，自變量對因變量的線性效果不顯著。</p><p>　　多元線性回歸模型的預(yù)測</p><p><b>　　對于模型 </b></p><p>　　如果給定樣本以外的解釋變量的觀測值，可以得到被解釋變量的預(yù)測值：&l

29、t;/p><p>　　但嚴格地說，這只是被解釋變量的預(yù)測值的估計值，而不是預(yù)測值。為了進行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間</p><p>　　由參數(shù)估計量性質(zhì)容易證明</p><p>　　取隨機干擾項的樣本估計量，構(gòu)造t統(tǒng)計量：</p><p><b>　?。?.19）</b></p><p>　

30、　于是，得到的置信水平下的置信區(qū)間：</p><p><b>　　（2.20）</b></p><p>　　其中，為的置信水平下的臨界值。</p><p><b>　　應(yīng)用實例[1]</b></p><p><b>　　數(shù)據(jù)的準備</b></p><p>

31、;　　《中國統(tǒng)計年鑒》把財政支出劃分為31個組成部分。本文只選取2005年我國31個省、市、自治區(qū)的地區(qū)生產(chǎn)總值和13個重要支出項，分別是：為基本建設(shè)支出，為企業(yè)挖潛改造資金，為科技三項費用，為農(nóng)業(yè)支出，為農(nóng)林水利氣象等部門事業(yè)費，為工業(yè)交通部門事業(yè)費，為流動部門事業(yè)費，為教育事業(yè)費，為科學(xué)事業(yè)費，為衛(wèi)生經(jīng)費，為行政管理費，為公檢法司支出，為城市維護費。為地區(qū)生產(chǎn)總值。（數(shù)據(jù)單位為：萬元）</p><p><

32、;b>　　模型的建立及求解</b></p><p><b>　　模型的建立</b></p><p>　　將13個重要支出項設(shè)為自變量，用表示；將地區(qū)生產(chǎn)總值設(shè)為因變量。采用最小二乘法擬合一個多元線性回歸模型，采用數(shù)學(xué)軟件SRSS計算出回歸系數(shù)，運行結(jié)果如下表：</p><p>　　表3.1 回歸系數(shù)表</p>&

33、lt;p>　　因而對13個自變量的線性回歸方程為:</p><p><b>　?。?.1）</b></p><p><b>　　模型的檢驗</b></p><p>　　首先，對模型（3.1）進行擬合優(yōu)度的檢驗，采用數(shù)學(xué)軟件SRSS計算樣本可決系數(shù)和調(diào)整后的樣本可決系數(shù)，運行結(jié)果如下表</p><p

34、><b>　　表3.2 模型匯總</b></p><p>　　由表3.2可知，模型（3.1）擬合效果很好。</p><p>　　然后，對模型（3.1）進行顯著性F檢驗，提出原假設(shè)：采用數(shù)學(xué)軟件SRSS計算出的方差分析表如下表</p><p>　　表3.3 方差分析表</p><p>　　表3.3中的Sig.即為顯著

35、性P值，由P值=0.000（近似值），，P值小于，所以，拒絕原假設(shè),認為在顯著性水平的條件下，因變量對自變量有顯著的線性關(guān)系，即回歸方程（3.1）是顯著的。</p><p>　　最后，對模型（3.1）進行回歸系數(shù)的顯著性檢驗，提出原假設(shè)其中 。利用SPSS計算出關(guān)于的t統(tǒng)計量及相應(yīng)的P值，見表3.1。由表我們可以發(fā)現(xiàn)并不是所有的單獨對因變量都有顯著影響。這說明盡管回歸方程通過了顯著性檢驗，但也會出現(xiàn)某些單個變量對

36、并不顯著的情況。</p><p>　　由于某些變量不顯著，因此本文采取后退法[3]簡單的剔除多余變量，由于變量間的交互作用，不能一次性剔除所有不顯著的變量，所以進行依次剔除，首先剔除P值最大的一個變量，然后再進回歸系數(shù)的顯著性檢驗，如果有不顯著的變量，那么再進行剔除，依次下去，知道保留的變量都對有顯著性影響為止。</p><p>　　根據(jù)表3.1，我們首先剔除，用剩余變量與進行回歸系數(shù)的顯

37、著性檢驗，SPSS運行結(jié)果如下表</p><p>　　表3.4 回歸系數(shù)表</p><p>　　由結(jié)果看，剔除后，剩余變量的顯著性都發(fā)生了變化，仍然有部分變量不顯著，所以繼續(xù)進行剔除（由于剔除過程比較繁瑣，在此不一一列出，只列出最終保留的變量）。最終保留的變量為，，，，，，，。將剩余變量與做回歸分析，SPSS運行結(jié)果如下表</p><p><b>　　表3

38、.5回歸系數(shù)表</b></p><p>　　由表3.5建立新的多元線性回歸模型</p><p><b>　?。?.2）</b></p><p>　　應(yīng)用SPSS軟件計算樣本可決系數(shù)和調(diào)整后的樣本可決系數(shù)，如下表</p><p><b>　　表3.6 模型匯總</b></p>

39、<p>　　由表3.5可知，模型（3.2）擬合效果很好。</p><p>　　然后，對模型（3.2）進行顯著性F檢驗，采用數(shù)學(xué)軟件SRSS計算出的方差分析表如下表</p><p>　　表3.7 方差分析表</p><p>　　由P值=0.000（近似值），，P值小于，所以，在顯著性水平的條件下，回歸方程（3.2）是顯著的。</p><

40、p>　　經(jīng)過以上算法步驟，新建立的模型（3.2）通過了顯著性檢驗，因此。模型（3.2）為最終確定的模型。</p><p><b>　　模型的預(yù)測</b></p><p>　　根據(jù)2007年的《中國統(tǒng)計年鑒》記載的2006年各地財政支出，本文選取基本建設(shè)支出、企業(yè)挖潛改造資金、農(nóng)業(yè)支出、教育事業(yè)費、衛(wèi)生經(jīng)費、行政管理費、公檢法司支出、城市維護費8個支出項的數(shù)據(jù)對2

41、006年的生產(chǎn)總值進行預(yù)測。應(yīng)用數(shù)學(xué)軟件Matlab進行運算，結(jié)果如下表</p><p>　　表3.7 2006年生產(chǎn)總值預(yù)測區(qū)間</p><p><b>　　單位：萬元</b></p><p><b>　　結(jié)論</b></p><p>　　將2007年《中國統(tǒng)計年鑒》中記載的2006年生產(chǎn)總值（附

42、錄三）與我們利用模型（3.2）預(yù)測得到的2006年生產(chǎn)總值（表3.7）進行比較，我們發(fā)現(xiàn)：2006年生產(chǎn)總值的實際值包含在我們對2006年生產(chǎn)總值的預(yù)區(qū)間內(nèi)，因此，我們建立的模型是比較合適的。</p><p>　　在實際應(yīng)用中，線性回歸模型是不可以隨便應(yīng)用的，當我們研究問題時要考慮，各個因素指標是否符線性回歸模型；是否符合模型的基本假設(shè)。在此前提下進行線性回歸模型分析，最重要的環(huán)節(jié)就是模型的建立，以及模型的檢驗。

43、當我們建立的模型沒有通過檢驗時，就要重新篩選變量，建立新的線性回歸模型，然后再進行檢驗，如果不通過，則循環(huán)以上步驟。知道我們建立合適的模型為止。只有建立合適的模型，才能解決我們最初的問題。</p><p>　　[1] 何曉群.現(xiàn)代統(tǒng)計分析方法與應(yīng)用（第二版）[M].北京：中國人民大學(xué)出版社，2007.107：138.</p><p>　　[2] 李子奈.計量經(jīng)濟學(xué)（第三版）[M].北京：高

44、等教育出版社，2010.62：81.</p><p>　　[3] 謝宇.回歸分析[M].北京：社會科學(xué)文獻出版社，2010.95：110.</p><p>　　[4] 司守奎.數(shù)學(xué)建模算法與應(yīng)用[M].北京：國防工業(yè)出版社，2011.382：388.</p><p>　　[5] 林彬. 多元線性回歸分析及其應(yīng)用[J].中國科技信息，2010（9）：60－61.<

45、;/p><p><b>　　附錄一</b></p><p><b>　　單位：萬元</b></p><p><b>　　附錄二</b></p><p><b>　　單位：萬元</b></p><p><b>　　附錄三<