畢業(yè)論文--最小二乘法的應(yīng)用研究

1、<p>　　最小二乘法的應(yīng)用研究</p><p><b>　　摘 要</b></p><p>　　最小二乘法是從誤差擬合角度對(duì)回歸模型進(jìn)行參數(shù)估計(jì)或系統(tǒng)辨識(shí),并在參數(shù)估計(jì)、系統(tǒng)辨識(shí)以及預(yù)測(cè)、預(yù)報(bào)等眾多領(lǐng)域中得到極為廣泛的應(yīng)用.然而,最小二乘法因其抽象、難懂常常不能被準(zhǔn)確理解.本文探討了最小二乘法的基本原理及其各種變形的擬合方法,其中包括:一元線性最小二乘法

2、擬合、多元線性擬合、多項(xiàng)式擬合、非線性擬合,并且討論了用鏡像映射和切比雪夫多項(xiàng)式解“病態(tài)”矛盾方程組的基本原理和方法,在此基礎(chǔ)上給出了幾種最小二乘法程序的設(shè)計(jì)原理.</p><p>　　關(guān)鍵詞：最小二乘法,線性擬合,曲線擬合,切比雪夫多項(xiàng)式</p><p>　　Study on the Application about Method of Least Square</p>

3、<p><b>　　Abstract</b></p><p>　　Least square was used to estimate parameters and identify system of regression model, by the point of error fitting. And it has widely application in the param

4、eters estimate, system identification, prediction, forecasting and other fields. However, the least square method because of its abstract and difficult ，often can not be accurately understanding. The least square method’

5、s principle and the various kinds of fitting methods such as the linear least square fitting, multiple linear fitting, po</p><p>　　Key Words：least square method, linear fitting, curve fitting, Chebyshev poly

6、nomial</p><p><b>　　目 錄</b></p><p>　　一、最小二乘法的統(tǒng)計(jì)學(xué)原理………………………………………………………1</p><p>　　二、曲線擬合…………………………………………………………………………2</p><p>　　1.一元線性擬合………………………………………………………

7、……………2</p><p>　　2.多元線性擬合……………………………………………………………………4</p><p>　　3.多項(xiàng)式擬合………………………………………………………………………5</p><p>　　4.非線性最小二乘法擬合…………………………………………………………6</p><p>　　5.多項(xiàng)式回歸的高精度快速算法……

8、……………………………………………7</p><p>　　三、應(yīng)用最小二乘法的幾個(gè)問(wèn)題……………………………………………………9</p><p>　　四、程序設(shè)計(jì)原理……………………………………………………………………10</p><p>　　1.線性擬合程序的設(shè)計(jì)原理………………………………………………………10</p><p>　　2.多

9、元線性擬合程序的設(shè)計(jì)原理…………………………………………………10</p><p>　　3.Shehata 方程的擬合程序設(shè)計(jì)原理…………………………11</p><p>　　結(jié)束語(yǔ)………………………………………………………………………………11</p><p>　　參考文獻(xiàn)……………………………………………………………………………12</p><

10、;p>　　一、最小二乘法的統(tǒng)計(jì)學(xué)原理</p><p>　　基本最小二乘法,其統(tǒng)計(jì)學(xué)原理是:</p><p>　　設(shè)物理量與個(gè)變量間的依賴關(guān)系式為</p><p><b>　　,</b></p><p>　　其中是方程中需要確定的個(gè)參數(shù).</p><p>　　最小二乘法就是通過(guò)個(gè)實(shí)驗(yàn)點(diǎn)確定出一

11、組參數(shù)值</p><p><b>　　,</b></p><p>　　使由這組參數(shù)得出的函數(shù)值</p><p>　　與實(shí)驗(yàn)值間的偏差平方和</p><p><b>　　取得極小值.</b></p><p>　　在設(shè)計(jì)實(shí)驗(yàn)時(shí),為了減小隨機(jī)誤差,一般進(jìn)行多點(diǎn)測(cè)量,使方程式個(gè)數(shù)大于

12、待求參數(shù)的個(gè)數(shù),即.這時(shí)構(gòu)成的方程組叫做矛盾方程組.通過(guò)用最小二乘法進(jìn)行統(tǒng)計(jì)處理,將矛盾方程組轉(zhuǎn)換成未知數(shù)個(gè)數(shù)和方程個(gè)數(shù)相等的正規(guī)方程組,再進(jìn)行求解得出.</p><p>　　由微分學(xué)的求極值方法可知應(yīng)滿足下列方程組:</p><p><b>　　,</b></p><p>　　這樣就實(shí)現(xiàn)矛盾方程組向正規(guī)方程組的轉(zhuǎn)換.</p>&

13、lt;p><b>　　二、曲線擬合</b></p><p><b>　　1.一元線性擬合</b></p><p>　　設(shè)變量與成線性關(guān)系,即.現(xiàn)在已知個(gè)實(shí)驗(yàn)點(diǎn) ,求兩個(gè)未知參數(shù).</p><p>　　[方法一] 由最小二乘法原理,參數(shù)應(yīng)使</p><p>　　取得極小值.根據(jù)極小值的求法,和

14、應(yīng)滿足</p><p><b>　　,</b></p><p><b>　　,</b></p><p>　　這就是含有兩個(gè)未知數(shù)和兩個(gè)方程的正規(guī)方程組.</p><p><b>　　從中解得,即</b></p><p><b>　　(1)<

15、;/b></p><p><b>　　其中</b></p><p><b>　　,</b></p><p><b>　　線性相關(guān)系數(shù),式中</b></p><p><b>　　,</b></p><p>　　相關(guān)系數(shù)是用來(lái)衡量

16、實(shí)驗(yàn)點(diǎn)的線性特性.</p><p>　　[方法二] 將代入得矛盾方程組</p><p><b>　　(2)</b></p><p><b>　　令</b></p><p><b>　　,,</b></p><p><b>　　則（2）式可寫成

17、</b></p><p><b>　　,</b></p><p><b>　　則有</b></p><p><b>　　,</b></p><p><b>　　所以</b></p><p><b>　　.<

18、;/b></p><p>　　其中稱為結(jié)構(gòu)矩陣,稱為數(shù)據(jù)矩陣,稱為信息矩陣,稱為常數(shù)矩陣.</p><p>　　為了定量地給出與實(shí)驗(yàn)數(shù)據(jù)之間線性關(guān)系的符合程度,可以用相關(guān)系數(shù)來(lái)衡量.它定義為</p><p><b>　　.</b></p><p>　　值在中,值越接近1,與的線性關(guān)系越好.為正時(shí),直線斜率為正,稱為

19、正相關(guān)；為負(fù)時(shí),直線斜率為負(fù),稱為負(fù)相關(guān).接近于0時(shí),測(cè)量數(shù)據(jù)點(diǎn)分散或之間為非線性.不論測(cè)量數(shù)據(jù)好壞都能求出和,所以我們必須有一種判斷測(cè)量數(shù)據(jù)好壞的方法,用來(lái)判斷什么樣的測(cè)量數(shù)據(jù)不宜擬合,判斷的方法是時(shí),測(cè)量數(shù)據(jù)是非線性的.稱為相關(guān)系數(shù)的起碼值,與測(cè)量次數(shù)有關(guān),如圖表所示.</p><p><b>　　相關(guān)系數(shù)起碼值</b></p><p>　　在進(jìn)行一元線性擬合之前

20、應(yīng)先求出值,再與比較,若,則和具有線性關(guān)系,可求回歸直線；否則反之.</p><p><b>　　2.多元線性擬合</b></p><p>　　設(shè)變量與個(gè)變量間存在線性關(guān)系,.設(shè)變量的第次測(cè)量值為,對(duì)應(yīng)的函數(shù)值為,則偏差平方和</p><p>　　為使取極小值,得正規(guī)方程組為:</p><p><b>　　,&

21、lt;/b></p><p><b>　　即</b></p><p><b>　　,.</b></p><p>　　將實(shí)驗(yàn)數(shù)據(jù)代入上述正規(guī)方程組中,即得出未知參數(shù).</p><p><b>　　3.多頂式擬合</b></p><p>　　對(duì)于次多項(xiàng)

22、式,令,則可轉(zhuǎn)化為線性形式這是曲線化直.對(duì)于個(gè)實(shí)驗(yàn)點(diǎn)有,代入多元線性擬合的正規(guī)方程:</p><p><b>　　,</b></p><p>　　可直接得出多項(xiàng)式最小二乘擬合的正規(guī)方程:</p><p><b>　　；</b></p><p><b>　　矩陣形式:</b>&l

23、t;/p><p><b>　　,</b></p><p>　　式中代表,這是一個(gè)具有個(gè)參數(shù)和個(gè)方程的線性方程組,可用高斯迭代法求出這些未知參數(shù),得出回歸方程.</p><p>　　4.非線性最小二乘法擬合</p><p>　　將非線性關(guān)系直接代入偏差平方和表達(dá)式中,采用極小值的求法得出的數(shù)值,此方法常常較為繁瑣.為此,先將函

24、數(shù)展開成泰勒級(jí)數(shù),忽略高次項(xiàng),化成線性形式后按線性擬合的方法求出參數(shù),經(jīng)多次逼近可得到滿足精度要求的結(jié)果.</p><p><b>　　計(jì)算步驟:</b></p><p>　　(1) 設(shè)所求參數(shù)真值為,另取初值,其差值,故.</p><p><b>　　(2) 將函數(shù)</b></p><p>　　在

25、處展開成泰勒級(jí)數(shù).由于初值與真值應(yīng)當(dāng)很接近,故可以略去函數(shù)的泰勒展開式高次項(xiàng),取得一階近似展開式:</p><p><b>　　,</b></p><p><b>　　式中</b></p><p>　　(3) 令,則展開式可以寫為: </p><p><b>　　,</b>&l

26、t;/p><p>　　這是線性關(guān)系式的特殊形式.</p><p>　　(4) 將多元線性最小二乘法擬合的正規(guī)方程式應(yīng)用于上式,得出其正規(guī)方程組:</p><p><b>　　令</b></p><p><b>　　,</b></p><p><b>　　則上式成為: &

27、lt;/b></p><p><b>　　.</b></p><p>　　(5) 以高斯消元法或其它方法求解正規(guī)方程,即可得出即,求出,此式是一個(gè)近似式,因而得出的也是一個(gè)近似值.將首次求出的值賦給作為新的初值,重復(fù)上述過(guò)程,再求出新的值,從而得到新的初值,反復(fù)迭代,直到得出足夠精度的為止.</p><p>　　5.多項(xiàng)式回歸的高精度快速

28、算法</p><p>　　多項(xiàng)式回歸分析在回歸分析方法中具有特別重要的地位.在多項(xiàng)式回歸分析的矩陣運(yùn)算中,解決數(shù)字病態(tài)問(wèn)題則成為重要問(wèn)題之一.為此采取兩個(gè)措施:第一,因?yàn)檎?guī)方程的條件數(shù)是矛盾方程組的平方倍,所以首先采用鏡像影射法解矛盾方程組,不解正規(guī)方程組；第二,采用切比雪夫多項(xiàng)式,使矛盾方程組系數(shù)矩陣正交化,使條件數(shù)進(jìn)一步減小.采用這兩種有效方法后,多項(xiàng)式逐次分析的運(yùn)算工作就容易了,并且提高了精度.</

29、p><p><b>　　算法原理:</b></p><p>　　(1) 運(yùn)用切比雪夫多項(xiàng)式降低矛盾方程的條件數(shù).對(duì)矛盾方程組的系數(shù)矩陣</p><p><b>　　,</b></p><p>　　向量的線性相關(guān)程度與矩陣的條件數(shù)有密切關(guān)系.當(dāng)系數(shù)矩陣為正交向量時(shí)條件數(shù)最小.因此,如果將多項(xiàng)式回歸轉(zhuǎn)化成切

30、比雪夫多項(xiàng)式回歸,就能將條件數(shù)降低到盡可能小的程度.</p><p>　　(2) 將測(cè)量數(shù)據(jù)化為區(qū)間的數(shù)據(jù).將一般多項(xiàng)式的測(cè)量數(shù)據(jù)</p><p>　　線性影射到內(nèi),就能把一般多項(xiàng)式的回歸問(wèn)題轉(zhuǎn)化成切比雪夫回歸問(wèn)題.</p><p>　　(3) 對(duì)數(shù)據(jù)擬合切比雪夫多項(xiàng)式.對(duì)</p><p>　　用切比雪夫多項(xiàng)式擬合數(shù)據(jù),,并經(jīng)過(guò)模型方次和參數(shù)

31、的最小二乘估計(jì),算出,.</p><p>　　(4) 由切比雪夫多項(xiàng)式還原成普通多項(xiàng)式.這種算法能在一次輸入實(shí)驗(yàn)數(shù)據(jù)后,系統(tǒng)自動(dòng)根據(jù)殘差平方和的檢驗(yàn)快速確定方次并求出參數(shù).例如,某振動(dòng)筒式壓力傳感器的靜態(tài)標(biāo)定數(shù)據(jù),在95%的置信帶內(nèi),運(yùn)行建模程序得到靜態(tài)頻率-壓力特性為二次多項(xiàng)式；</p><p>　　三、應(yīng)用最小二乘法的幾個(gè)問(wèn)題</p><p>　　最小二乘法雖然

32、在數(shù)據(jù)處理方面具有顯著的效果,但如果使用不當(dāng)會(huì)導(dǎo)致很大的誤差,甚至錯(cuò)誤的結(jié)果.因此,在應(yīng)用時(shí)必須注意以下幾個(gè)問(wèn)題:</p><p>　　(1) 慎重選擇擬合關(guān)系式</p><p>　　在實(shí)際問(wèn)題中,適當(dāng)選擇擬合關(guān)系式是一項(xiàng)十分謹(jǐn)慎的工作,它將直接影響計(jì)算的工作量和結(jié)論.</p><p>　　(2) 自變量的選擇</p><p>　　在實(shí)際工作

33、中,對(duì)一組實(shí)驗(yàn)數(shù)據(jù)按不同的擬合形式,結(jié)果會(huì)不一樣.特別注意當(dāng)兩個(gè)變量都有一定誤差時(shí),應(yīng)當(dāng)使用雙變量最小二乘法進(jìn)行處理,否則可以使用單變量最小二乘法.</p><p>　　(3) 加權(quán)最小二乘法</p><p>　　此法是應(yīng)用于實(shí)驗(yàn)測(cè)量值非等精度的情況下的擬合方法.它不同程度的消除誤差因素,結(jié)果更準(zhǔn)確可靠.</p><p>　　設(shè)擬合函數(shù)為,當(dāng)值取時(shí)的實(shí)測(cè)值為,取.加

34、權(quán)偏差平方和</p><p><b>　　,</b></p><p>　　式中為個(gè)實(shí)驗(yàn)點(diǎn)的權(quán)重因子.選取合適的權(quán)重因子可獲得高精度的擬合參數(shù).</p><p><b>　　四、程序設(shè)計(jì)原理</b></p><p>　　1.線性擬合程序的設(shè)計(jì)原理</p><p>　　對(duì)于給定的

35、實(shí)驗(yàn)數(shù)據(jù),求作擬合直線,使總誤差為最小.</p><p>　　再由數(shù)學(xué)中極值求法得公式:</p><p><b>　　,</b></p><p><b>　　,</b></p><p><b>　　式中,.</b></p><p>　　2.多元線性擬合程

36、序的設(shè)計(jì)原理</p><p>　　對(duì)式,設(shè)變量的第次測(cè)量值為,對(duì)應(yīng)的函數(shù)值偏差平方和</p><p><b>　　,</b></p><p>　　求其極小值得正規(guī)方程組</p><p><b>　　,</b></p><p><b>　　, </b>&l

37、t;/p><p>　　式中：為實(shí)驗(yàn)點(diǎn)數(shù),為未知參數(shù)個(gè)數(shù),為變量在第次測(cè)量中的取值；為函數(shù)第次測(cè)量值,為正規(guī)方程組的系數(shù)和,第列存放和;為存放未知參數(shù).</p><p>　　3.Shehata方程的擬合程序設(shè)計(jì)原理</p><p>　　將方程考慮為的函數(shù),將</p><p><b>　　,,</b></p>&l

38、t;p>　　代入正規(guī)方程即得結(jié)果.</p><p><b>　　結(jié)束語(yǔ)</b></p><p>　　最小二乘法是一個(gè)比較古老的方法,早在十八世紀(jì),就由首先創(chuàng)立并成功地應(yīng)用于天文觀測(cè)和大地測(cè)量工作中.此后近三百年來(lái),它己廣泛應(yīng)用于科學(xué)實(shí)驗(yàn)與工程技術(shù)中.最小二乘法能將從實(shí)驗(yàn)中得出的一大堆看上去雜亂無(wú)章的數(shù)據(jù)中找出一定規(guī)律,擬合成一條曲線來(lái)反映所給數(shù)據(jù)點(diǎn)總趨勢(shì),以消除

39、其局部波動(dòng).它為科研工作者提供了一種非常方便實(shí)效的數(shù)據(jù)處理方法.隨著現(xiàn)代電子計(jì)算機(jī)的普及與發(fā)展,這個(gè)占老的方法更加顯示出其強(qiáng)大的生命力.</p><p><b>　　參考文獻(xiàn):</b></p><p>　　[1]李慶揚(yáng),王能超,易大義.數(shù)值分析(第4版)[M].北京:清華大學(xué)出版社,2001.</p><p>　　[2]黃俊欽.靜動(dòng)態(tài)數(shù)學(xué)模型的

40、實(shí)用建模方法[M].北京:機(jī)械工業(yè)出版社,1988.</p><p>　　[3]宋文臣主編.True Basic語(yǔ)言程序設(shè)計(jì)[M].北京:電子工業(yè)出版社,1994.</p><p>　　[4]王能超.數(shù)值分析簡(jiǎn)明教程[M].北京:高等教育出版社,1984.</p><p>　　[5]肖明耀.誤差理論與應(yīng)用[M].北京:計(jì)量出版社,1985.</p>&