線性最小二線乘問題的存在與唯一

1、線性最小二線乘問題的存在與唯一,線性模型的正規(guī)方程,線性模型舉例,線性模型引深及推廣,線性最小二乘方法評(píng)注,正交多項(xiàng)式,問題的提出,,最佳平方逼近,實(shí)例講解,某種合成纖維的強(qiáng)度與其拉伸倍數(shù)有直接關(guān)系，下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)拉伸倍數(shù)的記錄。提示：將拉伸倍數(shù)作為x, 強(qiáng)度作為y,在座標(biāo)紙上標(biāo)出各點(diǎn)，可以發(fā)現(xiàn)什么?,數(shù)據(jù)表格,,,,從上圖中可以看出強(qiáng)度與拉伸倍數(shù)大致成線形關(guān)系，可用一條直線來表示兩者之間的關(guān)系。解：

2、設(shè) y*=a+bxi ，令δ=yi-y*i=yi-a-bxi，根據(jù)最小二乘原理，即使誤差的平方和達(dá)到最小，也就是令 n Q=∑δi2 i=1為最小 ，即求使 (a,b)=有最小值的a和b的值。,計(jì)算出它的正規(guī)方程得解得： a=0.15 ,

3、b=0.859 直線方程為：y*=0.15+0.859x,一 問題的提出 插值法是使用插值多項(xiàng)式來逼近未知或復(fù)雜函數(shù)的，它 要求插值函數(shù)與被插函數(shù)在插值節(jié)點(diǎn)上函數(shù)值相同 ，而在其他點(diǎn)上沒有要求。在非插值節(jié)點(diǎn)上有時(shí)函數(shù)值會(huì)相差很大 。若要求在被插函數(shù)的定義區(qū)間上，所選近似函數(shù)都能與被插函數(shù)有較好的近似，就是最佳逼近問題。最佳逼近是在函數(shù)空間 M中選 P(x) 滿足 但

4、由于絕對(duì)值函數(shù)不宜進(jìn)行分析運(yùn)算,常將上式化為來討論 ，于是最佳逼近問題變?yōu)樽罴哑椒奖平鼏栴} ,而離散的最佳平方逼進(jìn)問題就是常說的曲線擬合它們都可用最小二乘法求解。,,主頁,曲線擬合的最小二乘法,最小二乘原理 當(dāng)由實(shí)驗(yàn)提供了大量數(shù)據(jù)時(shí),不能要求擬合函數(shù) 在數(shù)據(jù)點(diǎn) 處的偏差,即

5、 (i=1,2,…,m) 嚴(yán)格為零,但為了使近似曲線盡量反映所給數(shù)據(jù)點(diǎn)的變化趨勢(shì) ,需對(duì)偏差有所要求.通常要求偏差平方和 最小,此即稱為最小二乘原理,?最小二乘法的求法,,?最小二乘法的幾種特例,例 題,二 線性最小問題的存在與唯一,在科學(xué)實(shí)驗(yàn)中，很多情況數(shù)據(jù)間存在線性或可轉(zhuǎn)化為線性的關(guān)系。線性最小二乘是最基本也是最重要的一種。1 線性最小二乘問題與線性最小二乘求解

6、 設(shè)Ax=b 其中 A?R m?n，b?R m，x ? R n當(dāng)m?n 時(shí)，上方程超定方程組 令 r =b-Ax ， 一般，超定方程無通常意義下解，既無x使 t=0。對(duì)這類方程求解意義是求x，使 ? ? r? ?22 = ? ? b-Ax ? ? 22為最小，稱x為Ax=b的最小二乘解。,主頁

7、,,2 最小二乘解的存在性與唯一性 定理 ：x* 為Ax=b 的最小二乘解充要條件 AT A X * =AT b 證明 ：充分性：若存在X* ，使 AT A X * =AT b 則對(duì)任意向量 令 x?=x* +y 有 ?? b– Ax ?? 22 = ?? b –AX*?? 22–2（y，AT（ b –AX*））+ ?? A y ?? 22 = ?? b –AX*?

8、? 22 + ?? A y ?? 22 ? ?? b –AX*?? 22 ?X*為Ax=b的最小二乘解。 必要性： 令 ?? b –AX?? 22=?（x1，x2，?，x n）= ?（x） 則由多元函數(shù)極值的必要條件知，若X*為極值點(diǎn)， 則 ? ?（x） | —— | =0

9、 ? x i |x=x*,,,而?（x1，x2，?，x n）=b T b – 2Ax+（Ax）TAx ? ?（x） 由 —— =0 （i=1，2， ? n） ATAx=ATb。 ? x i ?若x*為Ax=b最小二乘解，則AT A x *=ATb。證畢 AT A x =AT b 稱為最小二乘問題的 Ax=b法方

10、程組。當(dāng)A =（aIj）m?n 的秩為n ，既A的列線性無關(guān)時(shí)， AT A x =AT b有唯一解。,,,三 線形模型的正規(guī)方程,關(guān)于擬和模型必須能反映離散點(diǎn)分布基本特征。常選取?是線性擬和模型，既?所屬函數(shù)類為M =Span{? 0，?1，… ?n}，其中 ? 0，?1，… ?n 是線性無關(guān)的基函數(shù)

11、 m于是 ?（x）= ?c j ?j（x） j=0通常選取每個(gè)?j是次數(shù)?j的簡單多項(xiàng)式，即M 是次數(shù) ? n 的n次多項(xiàng)式空間。取 ?j（x）=x j ， j=0，1，…，n M =Span{1 ,x , x2，…，x n}，從而?（x）= C0 +C1 x1 + …+ C n x

12、 n =Pn(x),主頁,,n 設(shè)離散數(shù)據(jù)模型 ?（x）= ?c j ?j（x） j=0則求解歸結(jié)為 n+1元函數(shù)S的 極值問題: m n S（c0，c1，…，c n）= ? ?i [ y i &

13、#175;? c j ?j（xi）] 2 i=0 j=0顯然S達(dá)最小值必要條件是 ? S m n — =2 ? ?i [ y i¯ ? c j ?j（xi）] ? k（x i）= 0 ? C k

14、 i=0 j=0 （k=0 ，1，…，n）這是關(guān)于 c0，c1，…，c n 的方程組， n改寫成 ? （?j ，? k) c j =(y, ? k ) (k=0,1,2,…n)稱為正規(guī)方程組 j=0其中 m n（?j ，? k )= ? ? ?i ?j（xi

15、） ? k（x i） i=0 j=0,,,一般，n < m，函數(shù) ? 0，?1，…，?n，線性無關(guān)能保證正規(guī)方程組的系數(shù)矩陣 ? （? 0，? 0 ）（?1，? 0 ）…， （?n ， ? 0 ） ? G=? … … …，

16、 … ? (**) ?（ ? 0， ?n ） （?1， ?n ） …， （ ?n ， ?n ） ? 的行列式不為零。因此正規(guī)方程組有唯一解。設(shè)其解為 c j =c j *，j=0，1，…，n則所要求的離散點(diǎn)的擬合函數(shù)(最佳平方逼近)為 n

17、 ?*（x）= ? c j *?j（x）。 J=0對(duì)已知連續(xù)函數(shù)f(x)的最佳平方逼近問題與離散點(diǎn)的最佳平方逼近有相同形式的正規(guī)方程組和結(jié)論,只不過內(nèi)積公式變?yōu)?,,表中提供離散數(shù)據(jù)（x i ， y i），（0?i?4） 試用二次多項(xiàng)式進(jìn)行擬合. i xi

18、 yi ?*（xi） yi - ?*（xi） 0 0 1.0000 1.0052 -0.0052 1 0.25 1.2840 1.2740 0.0100 2 0.50

19、 1.6487 1.6482 0.0005 3 0.75 2.1170 2.1279 -0.0109 4 1.00 2.7183 2.7130

20、 0.0053,四線形模型舉例,,,,,,,,,,,,,,主頁,,解:取 M=Span（1，x，x2 ） 其三個(gè)基函數(shù)為 ?j （x）=x j j=0, 1, 2 擬和函數(shù)? 是基函數(shù)的線性組合: ?（x）=c0+c1x+c2x2 取?0=?1=?=?4=1 ,由公式 5

21、 5（? j，?k）=? xi j+k， （y， ? k）=? y i x i k ， i=1 i=1 j，k=0，1，2

22、 可以算出（ ?0 ，?0 ）=5，（?1， ?1）=1.875，（ ?2 ，?2）=1.3828 （?0 ，?1）=（ ?1 ，?0）=2.5,（?0 ，?2）=（ ?2 ，?0）=1.875（?1 ，?2）=（ ?2 ，?1）=1.5625（y ， ?0）=8.7680，（y，?1）=5.4514，（y，?2）=4.4215,,,正規(guī)方程為?5C0+2.5C1+1.875C2

23、 =8.7680?2.5C0+1.875C1+1.5625C2 =5.4514?1.875C0+1.5625C1+1.3828C2=4.415解得 C0=1.0052，C1=0.8641，C2=0.8427所求連續(xù)模型 ?* 為， ?*（x）=1.0052+0.8641x+0.8437x2最小平方殘差 5 || y— ?*||22 =

24、 ?（ yi — ?*（x i))2 = 2.76?10-4 i=1,,,由上述我 們已經(jīng)知到上述線性模型實(shí)際上是最小二乘法的推廣，實(shí)際上也就是多項(xiàng)式逼近函數(shù)的問題。它不僅可以解決一元問題還可用于多元問題。除此外還可求解某些非線性問題。求解方法是將其通過一定的代數(shù)變換轉(zhuǎn)換為可用線性模型求解的問題。比如對(duì)方程 y=a e b x 取對(duì)數(shù)，得l n y=l

25、 n a+b x，令 Y=lny, A= l n a, B=b 則問題轉(zhuǎn)化為解 Y=A+Bx的線性問題。類似的再如，對(duì)y=a+ b/ x擬和可對(duì)此方程取倒數(shù)，則新變量1/y于x成線性關(guān)系。,五線性模型引深及推廣,,主頁,六最小二乘法方法評(píng)注,最小二乘法方曲線擬和是實(shí)驗(yàn)數(shù)據(jù)處理的常用方法。最佳平方逼近可以在一個(gè)區(qū)間上比較均勻的逼近函數(shù)且具有方法簡單易行，實(shí)效性大，應(yīng)用廣泛等特點(diǎn)。但當(dāng)正規(guī)方程階數(shù)較高時(shí)，往往出現(xiàn)病態(tài)。因此必須謹(jǐn)慎

26、對(duì)待和加以巧妙處理。有效方法之一是引入正交多項(xiàng)式以改善其病態(tài)性。。,主頁,,,正交多項(xiàng)式 在高等數(shù)學(xué)中介紹付立葉級(jí)數(shù)時(shí)，曾提到函數(shù)系 1,cosx,sinx,cos2x,sin2x,…cosnx,sinnx,…中，由于任意兩個(gè)函數(shù)乘積在區(qū)間[-?，+?]上的積分都等于零，則說這個(gè)函數(shù)系在[-?，+?]上是正交的，并稱這個(gè)函數(shù)系為正交函數(shù)系。下面給出正交函數(shù)系定義：設(shè)函

27、數(shù)f(x),g(x)?[a,b],且則稱f(x)與g(x)在[a,b]上帶權(quán)?(x)正交,,在[a,b]上連續(xù)的函數(shù)?0(x), ?1(x), ?2(x),... ?k(x)..., 滿足 則稱該函數(shù)系是在區(qū)間[a,b]上帶權(quán)?(x)正交函數(shù)系.下面介紹與上述定義有關(guān)的幾個(gè)概念，然后引出正交多項(xiàng)的概念，最后再介紹正交多項(xiàng)式的性質(zhì)以及幾種常見的正交多項(xiàng)式。1.權(quán)函數(shù):(1)設(shè)[a,b]是有限或無限區(qū)間, ?(x)是定

28、義在[a,b]上的非零可積函數(shù)，若其滿足則稱?(x)是[a,b]上的一個(gè)權(quán)函數(shù)。,2 內(nèi)積與范數(shù)設(shè)f(x),g(x)?[a,b], ?(x)是[a,b]上的一個(gè)權(quán)函數(shù)，稱為f(x)與g(x)在為 [a,b]上以權(quán)函數(shù)?(x)的內(nèi)積。顯然，對(duì)于任意實(shí)數(shù)a,b,有稱為f(x)的帶權(quán)?(x)的2—范數(shù)。,正交多項(xiàng)式的性質(zhì)定理1 [a,b]上帶權(quán)?(x)的正交多項(xiàng)式系{gn(x)}一定是 [a,b]上線相關(guān)的函

29、數(shù)系。定理2 設(shè)是{gn(x)}[a,b]上帶權(quán)?(x)的正交多項(xiàng)式系，則對(duì)于任何次數(shù)不高于n-1的多項(xiàng)式q(x),總有 (q(x), gn(x))=0 ( n=1,2,…） 定理3 n次正交多項(xiàng)式gn(x)有n個(gè)互異定根，且全部若在(a,b)內(nèi)。,定理4:任何相鄰的三個(gè)正交多項(xiàng)式,都具有下列遞推關(guān)系式 gn+1(x)

30、=(?nx-?n)gn(x)-?n-1gn-1(x),,,常見的正交多項(xiàng)式,勒讓德多項(xiàng)式(Legendre)切比雪夫多項(xiàng)式(Chebyshev)拉蓋爾多項(xiàng)式(Laguerre)埃爾米特多項(xiàng)式 (Hermite),,勒讓德多項(xiàng)式(Legendre)[-1,1] , ?(x)=1遞推關(guān)系:P0(x)=1, P1(x)=x,,,Tn(x)=cos(narccosx),切比雪夫多項(xiàng)式(Chebyshev),遞推關(guān)系:T0(