第8章非線性回歸

1、第8章 非線性回歸,,,8.1 可化為線性回歸的曲線回歸8.2 多項式回歸8.3 非線性模型8.4 本章小結(jié)與評注,§8.1 可化為線性回歸的曲線回歸,,,y=β0+β1ex +ε （8.1）,可線性化的曲線回歸模型, 也稱為本質(zhì)線性回歸模型,只須令x′=ex即可化為y對x′是線性的形式y=β0+β1x′+ε需要指出的是，新引進(jìn)的自變量只能依賴于原始變量，而不能與未知參數(shù)

2、有關(guān)。,§8.1 可化為線性回歸的曲線回歸,,y=β0+β1x+β2x2+…+βpxp +ε （8.2）,令x1=x,x2=x2,…，xp=xp，于是得到y(tǒng)關(guān)于x1,x2,…，xp的線性表達(dá)式y=β0+β1x1+β2x2+…+βpxp+ε (8.2)式本來只有一個自變量x，是一元p次多項式回歸，在線性化后，變?yōu)閜元線性回歸。,§8.1 可化為線性回歸的曲線回歸,,,y=aeb xeε

3、 （8.3）,可線性化的曲線回歸模型, 也稱為本質(zhì)線性回歸模型,對等式兩邊同時取自然對數(shù)，得：lny=lna+bx+ε令y′=lny, β0=lna,β1=b,于是得到y(tǒng)′關(guān)于x的一元線性回歸模型y′=β0+β1x+ε,§8.1 可化為線性回歸的曲線回歸,,,不可以線性化的曲線回歸模型, 也稱為本質(zhì)非線性回歸模型,y= aeb x +ε（8.4）,當(dāng)b未知時，不能通過對等式兩邊同時取自然對數(shù)

4、的方法將回歸模型線性化，只能用非線性最小二乘方法求解。,(8.3)式的誤差項稱為乘性誤差項 (8.4)式的誤差項稱為加性誤差項。 一個非線性回歸模型是否可以線性化，不僅與回歸函數(shù)的形式有關(guān)，而且與誤差項的形式有關(guān)。,§8.1 可化為線性回歸的曲線回歸,,,在對非線性回歸模型線性化時，總是假定誤差項的形式就是能夠使回歸模型線性化的形式，為了方便，常常省去誤差項，僅寫出回歸函數(shù)的形式。 例如把回歸

5、模型（8.3）式y(tǒng)=aeb xeε簡寫為 y=aeb x,§8.1 可化為線性回歸的曲線回歸,,,SPSS軟件給出的10種常見的可線性化的曲線回歸方程,§8.1 可化為線性回歸的曲線回歸,,除了以上SPSS軟件中收入的幾種曲線回歸外，另外幾種其他常用的曲線回歸,例如,1. 雙曲函數(shù),,或等價地表示為,§8.1 可化為線性回歸的曲線回歸,,,

6、(a>0, b>0),§8.1 可化為線性回歸的曲線回歸,,,2. S型曲線,,此S型曲線當(dāng)a>0，b>0時，是x的增函數(shù)。 當(dāng)x→+∞時，y→1/a ; x→-∞時，y→0。 y=0與y=1/a是這條曲線的兩條漸進(jìn)線。 S型曲線有多種，其共同特點(diǎn)是曲線首先是緩慢增長，在達(dá)到某點(diǎn)后迅速增長，在超過某點(diǎn)后又變?yōu)榫徛鲩L，并且趨于一個穩(wěn)定值。 S型曲線在社會經(jīng)濟(jì)等很

7、多領(lǐng)域都有應(yīng)用，例如某種產(chǎn)品的銷售量與時間的關(guān)系，樹木、農(nóng)作物的生長與時間的關(guān)系等。,§8.1 可化為線性回歸的曲線回歸,,,§8.1 可化為線性回歸的曲線回歸,,,SPSS軟件中的S型曲線y=exp(b0+b1/t): 當(dāng)b10時，曲線在t的正實軸上是t的減函數(shù)，不是通常意義下的S型曲線。 SPSS軟件中的邏輯函數(shù)在0<b1<1時也是S型曲線。,§8.1 可化為線性回歸的

8、曲線回歸,,,例8.1對GDP(國內(nèi)生產(chǎn)總值)的擬合。我們選取GDP指標(biāo)為因變量，單位為萬億元，擬合GDP關(guān)于時間t的趨勢曲線。以1981年為基準(zhǔn)年，取值為t=1，1998 年t=18，1981年至1998年的數(shù)據(jù)如表8.1。,§8.1 可化為線性回歸的曲線回歸,,,,,§8.1 可化為線性回歸的曲線回歸,,,1. 直接用SPSS軟件的Curve Estimation命令計算。首先畫出GDP對時間的散點(diǎn)圖，見圖

9、8.2。,§8.1 可化為線性回歸的曲線回歸,,,§8.1 可化為線性回歸的曲線回歸,,,§8.1 可化為線性回歸的曲線回歸,,,§8.1 可化為線性回歸的曲線回歸,,,為了與線性回歸的擬合效果直接相比，可以先儲存復(fù)合函數(shù)回歸的殘差序列，然后計算出 復(fù)合函數(shù)回歸的 SSE =262467769=2.625×108， R2=1-262467769/110433532

10、79=0.97623，擬合效果明顯優(yōu)于線性回歸，當(dāng)然應(yīng)該采用復(fù)合函數(shù)回歸。,§8.1 可化為線性回歸的曲線回歸,,,復(fù)合函數(shù)回歸b0=3603.06,等比系數(shù)b1=1.192417，回歸方程為,,其中b1=1.192417=119.2417%表示GDP的平均發(fā)展速度，平均增長速度為19.2417% 。 這里GDP是用的當(dāng)年現(xiàn)價，在實際工作中可以用不變價格代替現(xiàn)價；對誤差項的自相關(guān)做相應(yīng)的處理；考慮到GDP的年增

11、長速度會有減緩趨勢，可以對回歸函數(shù)增加適當(dāng)?shù)淖枘嵋蜃拥雀倪M(jìn)方法。,§8.1 可化為線性回歸的曲線回歸,,,2.線性化求解法。 對復(fù)合函數(shù)y=b0兩端取自然對數(shù)，得lny=lnb0+ln(b1) t令y′=lny, β0=lnb0,β1=ln(b1),于是得到y(tǒng)′關(guān)于t的線性回歸方程y′=β0+β1t計算出y′=lny的值列在表8.4中，用y′對t做一元線性回歸，輸出結(jié)果為：,§8.1 可化為線性回歸

12、的曲線回歸,,,§8.1 可化為線性回歸的曲線回歸,,§8.2 多項式回歸,,一、幾種常見的多項式回歸模型,一元二次多項式模型yi=β0+β1xi+β11+εi的回歸函數(shù)yi=β0+β1xi+β11是一條拋物線方程，通常稱為二項式回歸函數(shù)?；貧w系數(shù)β1為線性效應(yīng)系數(shù)，β11為二次效應(yīng)系數(shù)。 相應(yīng)地，回歸模型 yi=β0+β1xi+β11+β111+εi稱為一元三次多項式模型。,§8.

13、2 多項式回歸,,§8.2 多項式回歸,,二、一個應(yīng)用例子,例8.2 表8.5列出的數(shù)據(jù)是關(guān)于18個35歲～44歲經(jīng)理的: 前兩年平均年收入 x1（千美元） 風(fēng)險反感度 x2 人壽保險額 y（千美元） 風(fēng)險反感度是根據(jù)發(fā)給每個經(jīng)理的標(biāo)準(zhǔn)調(diào)查表估算得到的；它的數(shù)值越大，風(fēng)險反感就越厲害。,§8.2 多項式回歸,,研究人員想研究給定年齡組內(nèi)的經(jīng)理年平均收入，風(fēng)險反感度和人壽保險的

14、關(guān)系。研究者預(yù)計，在經(jīng)理的收入和人壽保險額之間成立著二次關(guān)系，并有把握認(rèn)為風(fēng)險反感度對人壽保險額只有線性效應(yīng)，而沒有二次效應(yīng)。但是，研究者對兩個自變量是否對人壽保險額有交互效應(yīng)，心中沒底。因此，研究者擬合了一個二階多項式回歸模型,并打算先檢驗是否有交互效應(yīng)，然后檢驗風(fēng)險反感的二次效應(yīng)。,§8.2 多項式回歸,,§8.2 多項式回歸,,§8.2 多項式回歸,,§8.2 多項式回歸,,

15、67;8.2 多項式回歸,,表8.6,§8.2 多項式回歸,,得最終的回歸方程為：,括號中的數(shù)值是標(biāo)準(zhǔn)化回歸系數(shù)。 這樣，研究者就可用這個回歸方程來進(jìn)一步研究經(jīng)理的年平均收入和風(fēng)險反感對人壽保險額的效應(yīng)。從標(biāo)準(zhǔn)化回歸系數(shù)看到，年平均收入的二次效應(yīng)對人壽保險額的影響程度最大。,§8.2 多項式回歸,【例8.3】 維生素C注射液因長期放置會漸變成微黃色，中國藥典規(guī)定可以用焦亞硫酸鈉等作為抗氧劑。本實驗考慮

16、3個因素，分別是EDTA（X1）無水碳酸鈉（X2）焦亞硫酸鈉（X3） 每個因素各取7個水平，選用U7（74）均勻設(shè)計表，取其中的第1、2、3列，實驗安排與結(jié)果見表6.9。,§8.2 多項式回歸,表6.9 實驗設(shè)計與結(jié)果,§8.2 多項式回歸,首先做線性回歸，回歸的計算程序參照例6.1，得回歸方程y = 2.63 + 0.77 X1 - 0.0524 X2 - 0.087 X3回歸模型的P值=

17、0.1040；決定系數(shù)（R-square）= 83.9% ；調(diào)整的決定系數(shù)（AdjR-sq）= 67.8%?？梢娋€性回歸的效果不夠好，以下使用二次多項式回歸。,§8.2 多項式回歸,使用逐步回歸，回歸方程的具體形式是：,做變量替換轉(zhuǎn)化為9個自變量的線性回歸。,§8.2 多項式回歸,表6.10 回歸變量表,§8.2 多項式回歸,,這個線性回歸只有7組觀測數(shù)據(jù)卻有10個未知參數(shù)，需要使用逐步

18、回歸逐個引入變量。 在SPSS軟件逐步回歸模塊默認(rèn)的進(jìn)入變量P值=0.05，剔除變量P值=0.10的條件下，逐步回歸只進(jìn)行了一步就結(jié)束了，只選入了自變量x2。為了更全面地了解回歸的效果，可以把進(jìn)入變量的條件放寬一些。 用Option選項把進(jìn)入變量P值改為0.30，剔除變量P值改為0.50，重新做逐步回歸。,§8.2 多項式回歸,,表6.12 逐步回歸的輸出結(jié)果（2）,§8.2 多

19、項式回歸,,此時的逐步回歸共進(jìn)行了5步，依次選入了X2， X22= ，X3，X23=X2 X3，X13= X1 X3共5個變量，共計算出5個回歸模型: 第一個回歸模型最先選入的是X2，說明無水碳酸鈉的含量是最重要的影響因素； 第二個回歸模型再選入的是X22= ，進(jìn)一步說明無水碳酸鈉的含量是最重要的影響因素，并且說明y與X2的關(guān)系是非線性的,容易求出此方程在X2=48.5≈48時達(dá)極小值y=0.197，比第6號實

20、驗值y=0.147略高。,§8.2 多項式回歸,再看第三個回歸方程：,為使y值最小，X3應(yīng)該最大，取X3=1.4，X2的取值與X3無關(guān)，容易求出此方程在X2=45.1≈45，X3=1.4時達(dá)極小值y=0.074，低于第6號實驗值y=0.147。,§8.2 多項式回歸,第四個回歸方程是：,,在回歸方程含有X3的兩項－1.115 X3+0.0206 X2X3中，當(dāng)X2≤54時是X3的減函數(shù)，根據(jù)對第二和第三兩個回歸方

21、程的分析，兩個方程中X2的最優(yōu)解分別是48和45，所以有理由認(rèn)為X2≤54，y是X3的減函數(shù)，X3越大y越小，因此取X3=1.4。,把X3=1.4代入以上方程中，解得X2的極小值是X2=43.9≈44，所以第四個回歸方程的最優(yōu)組合是X2=44，X3=1.4，此時最優(yōu)預(yù)測值y=0.080，與第三個回歸方程的最優(yōu)解基本相同。,§8.2 多項式回歸,第五個方程是：,,其中包含了變量X1，并且是作為與X3的交互作用形式出現(xiàn)，說明ED

22、TA對實驗指標(biāo)本身沒有影響，只是通過焦亞硫酸鈉對實驗產(chǎn)生弱的影響。仿照對第四個回歸方程求最優(yōu)解的方法，首先確定X1和X3是y的減函數(shù)，分別取最大值X1=0.12和X3=1.4，然后再解得X2=41.2≈41。最優(yōu)預(yù)測值y= －0.128<0 ，可以視為接近0。,§8.2 多項式回歸,比較第三、四、五這3個回歸模型，回歸方程的決定系數(shù)分別是： 97.11、98.

23、73、99.99%， 從回歸的效果看第五個回歸的效果最好，但是有6個估計參數(shù)，而y的數(shù)據(jù)只有7個，所以估計的誤差會較大。 第三、四兩個回歸模型的實驗條件基本相同，預(yù)測值也很接近，約為0.080，明顯小于第6號實驗的吸收度y=0.147，是一組穩(wěn)定的好條件，見表6.13。,,§8.2 多項式回歸,,表6.13 吸收度的最優(yōu)實驗條件,§8.2 多項式回歸,本例的文獻(xiàn)[17]對吸收度y

24、值先取了倒數(shù)作為實驗指標(biāo)，其數(shù)值越大越好，然后建立回歸方程。這樣做的一個好處是避免了本例回歸模型五預(yù)測值為負(fù)值的情況，但是回歸方程的效果不好。文獻(xiàn)中得到的最優(yōu)條件是X1=0.12、X2=38、X3=1.4，和本例第五個模型相差不大。,,§8.3 非線性模型,,一、非線性最小二乘,非線性回歸模型一般可記為：yi = f (xi,θ)+εi , i=1,2,…,n （8.9）其中，yi是因變量，

25、 非隨機(jī)向量xi=(xi1,xi2,…，xik) ′是自變量， θ=(θ0,θ1,…，θp )′是未知參數(shù)向量， εi是隨機(jī)誤差項并且滿足獨(dú)立同分布假定，即,,§8.3 非線性模型,,對非線性回歸模型 我們?nèi)允褂米钚《朔ü烙媴?shù)θ，即求使得,,§8.3 非線性模型,,,稱為非線性最小二乘估計的正規(guī)方程組,§8.3 非線性模型,,在非線性回歸

26、中，平方和分解式SST=SSR+SSE不再成立。類似于線性回歸中的復(fù)判定系數(shù)，定義非線性回歸的相關(guān)比為：,,相關(guān)比也稱為相關(guān)指數(shù)。,§8.3 非線性模型,,二、非線性回歸模型的應(yīng)用,例8.4 一位藥物學(xué)家使用下面的非線性模型對藥物反應(yīng)擬合回歸模型：,,自變量x是藥劑量，用級別表示； 因變量y是藥物反應(yīng)程度，用百分?jǐn)?shù)表示。 3個參數(shù)c0、c1、c2都是非負(fù)的，根據(jù)專業(yè)知識，c0的上限是100%

27、， 3個參數(shù)的初始值取為c0=100，c1=5，c2=4.8。測得9個反應(yīng)數(shù)據(jù)如下：,§8.3 非線性模型,,圖8.3 藥物反應(yīng)程度散點(diǎn)圖,§8.3 非線性模型,,在SPSS的Regression菜單下點(diǎn)選Nonlinear，進(jìn)入非線性回歸對話框，將y點(diǎn)入因變量框，在model Expression框中輸入回歸函數(shù)c0-c0/(1+(x/c2)**c1),然后點(diǎn)Parameters進(jìn)入?yún)?shù)設(shè)置框賦給未知參數(shù)初值

28、。,§8.3 非線性模型,,§8.3 非線性模型,,§8.3 非線性模型,,§8.3 非線性模型,,,,§8.3 非線性模型,,本例回歸離差平方和SSR=15156.55，而總離差平方和SST=14917.89<SSR，可見對非線性回歸不再滿足平方和分解式，即SST≠SSR+SSE。 另外，非線性回歸的殘差和不等于零，本例殘差均值為0.285556≠0。當(dāng)然

29、，如果回歸擬合的效果好，殘差的均值會接近于零的。,§8.3 非線性模型,,通過以上分析可以認(rèn)為藥物反應(yīng)程度y與藥劑量x符合以下非線性回歸方程：,,§8.3 非線性模型,,【例8.4】 龔珀茲（Gompertz）模型是計量經(jīng)濟(jì)中的一個常用模型，用來擬合社會經(jīng)濟(jì)現(xiàn)象發(fā)展趨勢，龔珀茲曲線形式為：,其中k為變量的增長上限， 和 是未知參數(shù)。當(dāng)k未知時，龔珀茲模

30、型不能線性化，可以用非線性最小二乘法求解。表8.12的數(shù)據(jù)是我國民航國內(nèi)航線里程數(shù)據(jù)，以下用龔珀茲模型擬合這個數(shù)據(jù)。,,§8.3 非線性模型,,表8.8 我國民航國內(nèi)航線里程數(shù)據(jù) 單位：萬公里,§8.3 非線性模型,,用SPSS軟件的非線性最小二乘法功能求解。 依照Analyze→Regression→Nonlinear的順序進(jìn)入非線性回歸對話框。

31、 在回歸函數(shù)框條中輸入k*a**(b**t),再給出參數(shù)的初值。龔珀茲中的參數(shù)k是變量的發(fā)展上限，應(yīng)該取其初值略大于最大觀測值。本例最大觀測值是115.52，不妨取k的初值為120。a和b都是0到1之間的數(shù)，可以取其初值為0.5。經(jīng)過31步迭代后收斂，部分輸出結(jié)果如下：,§8.3 非線性模型,,§8.3 非線性模型,,§8.3 非線性模型,,用非線性最小二乘法求得的三個參數(shù)估計值為k=150.0

32、，a=0.012 43，b=0.892 7其中k=150.0為回歸模型估計的國內(nèi)航線里程增長上限。 圖8.4是用Excel繪制的國內(nèi)航線里程趨勢預(yù)測圖，其中粗實線是觀測值，虛細(xì)線是預(yù)測值。,圖8.4 龔珀茲曲線擬合國內(nèi)航線里程趨勢圖,§8.3 非線性模型,,上面的過程中回歸迭代給出了一些警告錯誤，這是由于回歸迭代過程中的參數(shù)取值超出了允許范圍造成的，可以通過對參數(shù)取值范圍增加一些限制解決，用非線性回歸對話

33、框中的Constraints按鈕實現(xiàn)。 另外如果參數(shù)的初值給得不夠準(zhǔn)確回歸迭代不收斂時，對參數(shù)增加一些限制可能就收斂了。例如本例中把k的初值改為130回歸迭代不能收斂，但是增加一個k>116的限制回歸迭代就收斂了。,§8.3 非線性模型,,龔珀茲模型和幾種常見的非線性回歸模型可以用三和值法求解，見參考文獻(xiàn)[15]第13章。 在正態(tài)誤差假定下，非線性回歸的最小二乘估計與極大似然估計是相同的，而極大似

34、然估計具有好的大樣本性質(zhì)，例如漸近無偏性、漸近正態(tài)性、一致性等。因而非線性最小二乘估計值比三和值更精確，可以把三和值法的參數(shù)估計值作為求解非線性最小二乘的初值。,§8.3 非線性模型,,【例8.6】 下表8.9是我國從1950——2005年歷年大陸總?cè)丝跀?shù)，試用威布爾（Weibull）曲線擬合數(shù)據(jù)并做預(yù)測。威布爾曲線如下：,,其中參數(shù)k是變量發(fā)展的上限，參數(shù)a >0, 00。,§8.3 非線性模型,,表8

35、.9 我國歷年大陸總?cè)丝跀?shù) 單位：億人,,§8.3 非線性模型,,根據(jù)人口學(xué)的專業(yè)預(yù)測，我國人口上限為16億人，因此取k的初值=16，取b的初值=0.5，取c的初值=1。 對以上初值把t=1時（即1950年）=5.5196代入，得， 用以上初值做非線性最小二乘，得下面的輸出結(jié)果8.7。從中看到，人口上限為k=15.76億人，這與人口學(xué)預(yù)測的人口上限16億人完全一致

36、。圖8.5是用Excel繪制的人口趨勢預(yù)測圖，其中粗實線是觀測值，虛細(xì)線是預(yù)測值。,,§8.3 非線性模型,,§8.3 非線性模型,,§8.3 非線性模型,,,圖8.5 威布爾模型預(yù)測我國人口趨勢圖,§8.3 非線性模型,,【例8.6】 柯布—道格拉斯生產(chǎn)函數(shù)研究。在計量經(jīng)濟(jì)學(xué)中有一種熟知的C-D（Cobb—Douglas）生產(chǎn)函數(shù),,其中，y為產(chǎn)出,K(資本)、L(勞力)為兩個投入要

37、素，A>0為效率系數(shù)、a和b為K和L的產(chǎn)出彈性，A、a、b 均為待估參數(shù)。,§8.3 非線性模型,,a是產(chǎn)出對資本投入的彈性系數(shù)，度量在勞動投入保持不變時資本投入增加1%時產(chǎn)出增加的百分比。 b是產(chǎn)出對勞動投入的彈性系數(shù)，度量在資本投入保持不變時勞動投入增加1%時產(chǎn)出增加的百分比。 兩個彈性系數(shù)之和 a+b 表示規(guī)模報酬（returns to scale）。a+b =1表示規(guī)模報酬不變，即1倍的

38、投入帶來1倍的產(chǎn)出；a+b ＜1表示規(guī)模報酬遞減，即1倍的投入帶來少于1倍的產(chǎn)出；a+b ＞1表示規(guī)模報酬遞增，即1倍的投入帶來大于1倍的產(chǎn)出。,§8.3 非線性模型,,§8.3 非線性模型,,§8.3 非線性模型,,其中，y是國內(nèi)生產(chǎn)總值GDP (單位：億元)， K是資金投入，包括固定資產(chǎn)投資和庫存占用資 金(單位：億元)，

39、 L是就業(yè)總?cè)藬?shù)(單位：萬人)。,(1)假設(shè)隨機(jī)誤差項為相乘的，我們可以用兩邊取對數(shù)的辦法，按照（8.15）式將模型轉(zhuǎn)化線性形式，對數(shù)變換后的數(shù)據(jù)見表8.14，用SPSS作線性回歸得如下結(jié)果：,§8.3 非線性模型,,§8.3 非線性模型,,得兩個彈性系數(shù)為a=0.902，b =0.361，資金的貢獻(xiàn)率大于勞動力的貢獻(xiàn)率。規(guī)模報酬a+b =0.902+0.361=1.263＞1表示規(guī)模報

40、酬遞增。效率系數(shù)A==0.1242。其中系數(shù)b 的顯著性概率P值=0.087，顯著性較弱。得乘性誤差項的C-D生產(chǎn)函數(shù)為：,§8.3 非線性模型,,對加性誤差項模型,不能通過變量變換數(shù)轉(zhuǎn)化成線性模型，只能用非線性最小二乘法求解未知參數(shù)。以上面乘性誤差項的參數(shù)為初值做非線性最小二乘，經(jīng)過81步迭代得下面的輸出結(jié)果8.。其中參數(shù)β的置信度為95%的置信區(qū)間為（-0.555 ，1.565），包含0在內(nèi)，因而不能認(rèn)為β非0，顯

41、著性較弱。得乘性誤差項的C-D生產(chǎn)函數(shù)為：,,§8.3 非線性模型,,§8.3 非線性模型,,§8.3 非線性模型,,使用線性化的乘性誤差項模型，由共線性檢驗得方差擴(kuò)大因子VIF=15.5。使用嶺回歸，選取嶺參數(shù)k=0.20，這時R2從原來的0.998 14下降為0.980 58，得嶺回歸如下：,****** Ridge Regression with k = 0.20 ******

42、 B SE(B) Beta B/SE(B)lnK .49700385 .02048319 .51558506 24.26398868lnL 2.18274631 .11798929 .39309616 18.49952910Constant -18

43、.43784255 1.27336521 .00000000 -14.47961853,§8.3 非線性模型,,其中a=0.4970，b =2.183，A= 表明勞動力的貢獻(xiàn)率遠(yuǎn)大于資金的貢獻(xiàn)率，與普通最小二乘的結(jié)果完全相反。并且b =2.183也不符合經(jīng)濟(jì)意義。 從統(tǒng)計方法看，嶺回歸的結(jié)果是可信的，但是我們對其計算結(jié)果卻無法給出合理的解釋。,,§8.3 非線性模型,,三、其他形式

44、的非線性回歸,非線性最小二乘是使殘差平方和達(dá)極小的方法,其最大的缺點(diǎn)是缺乏穩(wěn)健性。當(dāng)數(shù)據(jù)存在異常值時，參數(shù)的估計效果變得很差。因而在一些場合，我們希望用一些更穩(wěn)健的殘差損失函數(shù)代替平方損失函數(shù),,§8.3 非線性模型,,絕對值殘差損失函數(shù),利用SPSS的非線性回歸程序，可以用數(shù)值計算法求解多種損失函數(shù)的回歸估計值。以下以例3.2北京經(jīng)濟(jì)開發(fā)區(qū)數(shù)據(jù)為例，說明用SPSS軟件的最小絕對值法求解方法。,§8.3 非線性

45、模型,,1．進(jìn)入非線性回歸對話框，在因變量框中點(diǎn)入y，在Model Expressions框中輸入回歸方程表達(dá)式b0+b1*x1+b2*x2； 2.給參數(shù)賦初值，以普通最小二乘估計值為初始值，初始值為b0=-213.7,b1=2.185,b2=0.368，點(diǎn)Continue返回非線性回歸對話框; 3.點(diǎn)選Options選項,進(jìn)入Options選項框選擇數(shù)值計算方法，默認(rèn)的計算方法是Levenberg-Ma

46、rquardt方法,將其改為Sequential quadratic program方法，點(diǎn)Continue返回非線性回歸對話框。用自定義損失函數(shù)計算時必須做這個改動； 4．點(diǎn)Loss進(jìn)入Loss Function對話框給出損失函數(shù)，默認(rèn)的損失函數(shù)是Sum of squared residuals,將其改為User-defiend loss function，然后輸入ABS(y-b0-b1*x1-b2*x2)，點(diǎn)Cont