最小二乘法及其應(yīng)用【文獻(xiàn)綜述】

1、畢業(yè)論文文獻(xiàn)綜述畢業(yè)論文文獻(xiàn)綜述信息與計(jì)算科學(xué)信息與計(jì)算科學(xué)最小二乘法及其應(yīng)用最小二乘法及其應(yīng)用計(jì)算方法是應(yīng)用數(shù)學(xué)的重要專業(yè)基礎(chǔ)課，它討論的是如何運(yùn)用現(xiàn)代計(jì)算工具高效求解科學(xué)與工程中的數(shù)值計(jì)算問題。今天，科學(xué)與實(shí)驗(yàn)、理論分析一起成為當(dāng)今科學(xué)活動的主要方式。在物理、化學(xué)、力學(xué)、材料科學(xué)、環(huán)境科學(xué)、信息科學(xué)和生物科學(xué)等領(lǐng)域，計(jì)算方法和技術(shù)已經(jīng)成為被廣泛接受的科學(xué)研究手段。現(xiàn)在，計(jì)算在科學(xué)研究和工程設(shè)計(jì)中幾乎無所不在，對科技的發(fā)展起到舉足輕重

2、的作用。[1]最小二乘法作為計(jì)算方法中一個(gè)重要的數(shù)學(xué)方法，得到了廣泛的研究與應(yīng)用。發(fā)現(xiàn)最小二乘法的動因是天文學(xué)和測地學(xué)中處理數(shù)據(jù)的需要。陳希孺先生所著《數(shù)理統(tǒng)計(jì)學(xué)簡史》中記載了這樣一段歷史。在18世紀(jì)，天文學(xué)和測地學(xué)中的一些數(shù)據(jù)分析問題可以描述如下：有（m＋1）個(gè)可以測量的量x0，x1，…，xm，和m個(gè)未知的參數(shù)β1，β2，…，βm。按照某種理論，它們之間應(yīng)有線性關(guān)系。⑴但是由于實(shí)際工作中對x0，x1，…，xm的測量存在誤差，而且⑴式只

3、是理論上的近似而非嚴(yán)格成立。也就是說，⑴式左邊的表達(dá)式實(shí)際上不等于0，其真實(shí)值與測量有關(guān)，可視為一種誤差。若進(jìn)行了n次測量，在實(shí)際問題中，n總是大于甚至是遠(yuǎn)遠(yuǎn)大于m，目的是多提供一些信息，以便對參數(shù)β1，β2，…，βm作出較精確的估計(jì)。設(shè)在第i次測量中，x0，x1，…，xm分別取值x0i，x1i，…，xmi，則按照⑴式，應(yīng)有（i=1，2，…，n）⑵若⑵式嚴(yán)格成立，則只要從上述n個(gè)方程中任意挑出m個(gè)就可以解出β1，β2，…，βm的值。但⑵

4、式并非嚴(yán)格成立，于是需要設(shè)計(jì)合適的算法來估計(jì)參數(shù)的值。1750年，天文學(xué)家梅耶發(fā)表了一種方法，他在研究海上航行船只的定位問題時(shí)，得到了一個(gè)包含3個(gè)未知參數(shù)的形如⑴式的關(guān)系式以及27組觀測數(shù)據(jù)。梅耶把這27個(gè)方程分成3組，然后把每組中的9個(gè)方程相加，共得到3個(gè)方程，這樣可以解出3的顯赫地位，主要得益于它與線性模型的聯(lián)系。勒讓德創(chuàng)設(shè)最小二乘法是為了解決形如⑴式的線性表達(dá)式（如今已發(fā)展為線性模型）的，由此導(dǎo)出的也是一個(gè)線性的方程組，這使得最小

5、二乘法具有計(jì)算簡便的特點(diǎn)。但更加重要的是，“線性”的特點(diǎn)使最小二乘法在誤差分析方面較之其他方法具有不可替代的優(yōu)勢。在1809年高斯對最小二乘估計(jì)進(jìn)行的誤差分析中發(fā)現(xiàn)，在線性模型的所有無偏估計(jì)類中，最小二乘估計(jì)是唯一的方差最小的無偏估計(jì)；進(jìn)入20世紀(jì)后，哥色特、費(fèi)歇爾等人還發(fā)現(xiàn)，在正態(tài)誤差的假定下，最小二乘估計(jì)有較完善的小樣本理論，使基于它的統(tǒng)計(jì)推斷易于操作且有關(guān)的概率計(jì)算不難進(jìn)行。與此同時(shí)，對最小二乘法誤差分析的研究也促進(jìn)了線性模型理論

6、的發(fā)展。如今，線性模型已經(jīng)成為理論結(jié)果最豐富、應(yīng)用最廣泛的一類回歸模型。[2]人們對由某一變量t或多個(gè)變量f1……fn構(gòu)成的相關(guān)變量y感興趣。如彈簧的形變與所用的力相關(guān)，一個(gè)企業(yè)的盈利與其營業(yè)額，投資收益和原始資本有關(guān)。為了得到這些變量同y之間的關(guān)系，便用不相關(guān)變量去構(gòu)建y。試用如下函數(shù)模型q個(gè)相關(guān)變量或p個(gè)附加的相關(guān)變量去擬和。通常人們將一個(gè)可能的、對不相關(guān)變量t的構(gòu)成都無困難的函數(shù)類型充作函數(shù)模型（如拋物線函數(shù)或指數(shù)函數(shù)）。參數(shù)x是

7、為了使所選擇的函數(shù)模型同觀測值y相匹配。（如在測量彈簧形變時(shí)，必須將所用的力與彈簧的膨脹系數(shù)聯(lián)系起來）。其目標(biāo)是合適地選擇參數(shù)，使函數(shù)模型最好的擬合觀測值。一般情況下，觀測值遠(yuǎn)多于所選擇的參數(shù)。其次的問題是怎樣判斷不同擬合的質(zhì)量。高斯和勒讓德的方法是，假設(shè)測量誤差的平均值為0。令每一個(gè)測量誤差對應(yīng)一個(gè)變量并與其它測量誤差不相關(guān)（隨機(jī)無關(guān)）。[3]人們假設(shè)，在測量誤差中絕對不含系統(tǒng)誤差，它們應(yīng)該是純偶然誤差，圍繞真值波動。除此之外，測量誤