隨機(jī)性模型及matlab統(tǒng)計(jì)工具箱在建模中的應(yīng)用

1、隨機(jī)性模型及MATLAB 統(tǒng)計(jì)工具箱在建模中的應(yīng)用,確定性模型和隨機(jī)性模型,隨機(jī)因素可以忽略,隨機(jī)因素影響可以簡單地以平均值的作用出現(xiàn),隨機(jī)因素影響必須考慮,概率模型,統(tǒng)計(jì)回歸模型,馬氏鏈模型,概 率 模 型,例: 報(bào)童的利潤,為了獲得最大的利潤，報(bào)童每天應(yīng)購進(jìn)多少份報(bào)紙？,162天報(bào)紙需求量的調(diào)查,報(bào)童早上購進(jìn)報(bào)紙零售，晚上將未賣掉的報(bào)紙退回。,購進(jìn)價(jià)b(=0.8元),零售價(jià)a (=1元),退回價(jià)c(=0.75元),售出

2、一份賺 a-b,退回一份賠 b-c,136 214 195 219 224 197 213 187 187 ?? ? 230 172 227 157 114 156,問題分析,購進(jìn)太多?賣不完退回?賠錢,購進(jìn)太少?不夠銷售?賺錢少,應(yīng)根據(jù)需求確定購進(jìn)量,每天需求量是隨機(jī)的,目標(biāo)函數(shù)應(yīng)是長期的日平均利潤,= 每天

3、收入的期望值,隨機(jī)性優(yōu)化模型,需求量的隨機(jī)規(guī)律由162天報(bào)紙需求量的調(diào)查得到,模型建立,設(shè)每天購進(jìn) n 份，日平均收入為 G(n),求 n 使 G(n) 最大,已知售出一份賺 a-b；退回一份賠 b-c,,r視為連續(xù)變量,,模型建立,模型建立,,,,,結(jié)果解釋,取n使,a-b ~售出一份賺的錢 b-c ~退回一份賠的錢,MATLAB 統(tǒng)計(jì)工具箱常用命令(一),,MATLAB 統(tǒng)計(jì)工具箱常用命令(一),y=normpdf(1.5,1,2

4、) 正態(tài)分布x=1.5的概率密度 (?=1, ?=2),y=fcdf(1,10, 50) F分布x= 1的分布函數(shù) (自由度n1=10, n2=50),y =tinv(0.9,10) 概率?=0.9的逆t分布 (?分位數(shù), 自由度n=10),由 計(jì)算 n,用MATLAB 統(tǒng)計(jì)工具箱求解報(bào)童模型,根據(jù)數(shù)據(jù)確定需求量的概率分布 p(x),bao

5、tongdata.m,baotong1.m,回 歸 模 型,1. 在快速靜脈注射的給藥方式下，研究血藥濃度（單位體積血液中的藥物含量）的變化規(guī)律。,問題,2. 給定藥物的最小有效濃度和最大治療濃度，設(shè)計(jì)給藥方案 (每次注射劑量, 間隔時(shí)間) 。,分析,半對(duì)數(shù)坐標(biāo)系(semilogy)下c(t)的圖形,,理論：用一室模型研究血藥濃度變化規(guī)律,負(fù)指數(shù)規(guī)律,,xueyao1.m,,實(shí)驗(yàn)數(shù)據(jù)作圖,3.血液容積v, t=0注射劑量d, 血藥濃度立

6、即為d/v,2.藥物排除速率與血藥濃度成正比，比例系數(shù)k(>0),模型假設(shè),1.機(jī)體看作一個(gè)房室，室內(nèi)血藥濃度均勻——一室模型,模型建立,由假設(shè)2,,由假設(shè)3,給藥方案 設(shè)計(jì),設(shè)每次注射劑量D, 間隔時(shí)間?,血藥濃度c(t) 應(yīng)c1? c(t) ? c2,初次劑量D0 應(yīng)加大,給藥方案記作,給定c1=10, c2=25,為確定 只需確定參數(shù) k,v,,參數(shù)估計(jì),由實(shí)驗(yàn)數(shù)據(jù)擬合曲線c(t)以估計(jì)k,v,,,xueya

7、o2.m,思考：取對(duì)數(shù)化為線性最小二乘, 對(duì)結(jié)果有影響嗎？,,c1=10, c2=25,給藥方案 設(shè)計(jì),,直線擬合：a=polyfit(x,y,1),b=polyfit(x,z,1),,同一條直線 y=0.33x+0.96(z=0.33x+0.96),從擬合到回歸,x=[ 0 1 2 3 4 ], y=[ 1.0 1.3 1.5 2.0 2.3 ] ( + 號(hào))x=[ 0 1 2 3 4 ], z=[ 0.6 1.95

8、 0.9 2.85 1.8 ]（*號(hào)）,問題：你相信哪個(gè)擬合結(jié)果？怎樣給以定量評(píng)價(jià)?,,得到a= 0.33 0.96b= 0.33 0.96,收集一組包含因變量和自變量的數(shù)據(jù)；選定因變量與自變量之間的模型，利用數(shù)據(jù)按照最小二乘準(zhǔn)則計(jì)算模型中的系數(shù)；利用統(tǒng)計(jì)分析方法對(duì)不同的模型進(jìn)行比較，找出與數(shù)據(jù)擬合得最好的模型；判斷得到的模型是否適合于這組數(shù)據(jù), 診斷有無不適合回歸模型的異常數(shù)據(jù)；利用模型對(duì)因變量作出預(yù)測(cè)或解釋。,

9、回歸分析的主要步驟,2004 B題 電力市場(chǎng)的輸電阻塞管理,確定各線路上潮流關(guān)于各發(fā)電機(jī)組出力的近似表達(dá)式,當(dāng)前時(shí)段各發(fā)電機(jī)組出力 p1(0), ?, pn(0), 線路潮流 uj(0),答卷中的問題：沒有常數(shù)項(xiàng) a0；沒有統(tǒng)計(jì)檢驗(yàn),例1: 血壓與年齡、體重指數(shù)、吸煙習(xí)慣,體重指數(shù) = 體重(kg) / 身高(m) 的平方,吸煙習(xí)慣: 0表示不吸煙，1表示吸煙,建立血壓與年齡、體重指數(shù)、吸煙習(xí)慣之間的回歸模型,模型建立,血壓y，年齡x1

10、，體重指數(shù)x2，吸煙習(xí)慣x3,,y與x1的散點(diǎn)圖,y與x2的散點(diǎn)圖,線性回歸模型,回歸系數(shù)?0, ?1, ?2, ?3 由數(shù)據(jù)估計(jì), ?是隨機(jī)誤差,MATLAB 統(tǒng)計(jì)工具箱常用命令(二),b=regress(y,X) [b,bint,r,rint,s]=regress(y,X,alpha),輸入: y~因變量(列向量), X~1與自變量組成的矩陣，Alpha~顯著性水平?（缺省時(shí)設(shè)定為0.05）,s: 3個(gè)統(tǒng)計(jì)量：決定系數(shù)R2，F(xiàn)

11、值, F(1,n-2)分布大于F值的概率p，p<?時(shí)回歸模型有效.,rcoplot(r,rint),殘差及其置信區(qū)間作圖,MATLAB7.0版本 s增加一個(gè)統(tǒng)計(jì)量: 剩余方差s2.,模型求解,剔除異常點(diǎn)(第2點(diǎn)和第10點(diǎn))后,xueya01.m,,例2 軟件開發(fā)人員的薪金,資歷~ 從事專業(yè)工作的年數(shù)；管理~ 1=管理人員，0=非管理人員；教育~ 1=中學(xué)，2=大學(xué)，3=更高程度,建立模型研究薪金與資歷、管理責(zé)任、教育程度的

12、關(guān)系,分析人事策略的合理性，作為新聘用人員薪金的參考,分析與假設(shè),y~ 薪金，x1 ~資歷（年）,x2 = 1~ 管理人員，x2 = 0~ 非管理人員,1=中學(xué)2=大學(xué)3=更高,資歷每加一年薪金的增長是常數(shù)；管理、教育、資歷之間無交互作用,教育,線性回歸模型,a0, a1, …, a4是待估計(jì)的回歸系數(shù)，?是隨機(jī)誤差,模型求解,R2,F, p? 模型整體上可用,資歷增加1年薪金增長546,管理人員薪金多6883,中學(xué)程度薪金比更高的少

13、2994,大學(xué)程度薪金比更高的多148,a4置信區(qū)間包含零點(diǎn)，解釋不可靠!,xinjindata.m xinjin.m,殘差分析方法,結(jié)果分析,殘差,e 與資歷x1的關(guān)系,e與管理—教育組合的關(guān)系,殘差全為正，或全為負(fù)，管理—教育組合處理不當(dāng),殘差大概分成3個(gè)水平， 6種管理—教育組合混在一起，未正確反映,應(yīng)在模型中增加管理x2與教育x3, x4的交互項(xiàng),,進(jìn)一步的模型,增加管理x2與教育x3, x4的交互項(xiàng),R2,F有改進(jìn)，所有回

14、歸系數(shù)置信區(qū)間都不含零點(diǎn)，模型完全可用,消除了不正常現(xiàn)象,異常數(shù)據(jù)(33號(hào))應(yīng)去掉,e ~ x1,e ~組合,去掉異常數(shù)據(jù)后的結(jié)果,e ~ x1,e ~組合,R2： 0.957 ? 0.999 ? 0.9998F： 226 ? 554 ? 36701 置信區(qū)間長度更短,殘差圖十分正常,最終模型的結(jié)果可以應(yīng)用,xinjindata2.m xinjin1.m,模型應(yīng)用,制訂6種管理—教育組合人員的“基礎(chǔ)”薪金(資歷為0）,中學(xué)：

15、x3=1, x4=0 ；大學(xué)：x3=0, x4=1； 更高：x3=0, x4=0,x1= 0； x2 = 1~ 管理，x2 = 0~ 非管理,大學(xué)程度管理人員比更高程度管理人員的薪金高,大學(xué)程度非管理人員比更高程度非管理人員的薪金略低,例3 商品銷售量與價(jià)格,某廠生產(chǎn)的一種電器的銷售量y與競(jìng)爭對(duì)手的價(jià)格x1及本廠的價(jià)格x2有關(guān),,該商品在10個(gè)城市的銷售記錄如下,根據(jù)數(shù)據(jù)建立y與x1和x2的模型, 對(duì)得到的模型和系數(shù)進(jìn)行檢驗(yàn)。 若

16、某市本廠產(chǎn)品售價(jià)160(元)，競(jìng)爭對(duì)手售價(jià)170(元),預(yù)測(cè)該市的銷售量.,將(x1,y),(x2,y)各10個(gè)點(diǎn)分別畫圖,y與x2有較明顯的線性關(guān)系，y與x1之間的關(guān)系難以確定,需要對(duì)模型y=f(x1,x2)作幾種嘗試，用統(tǒng)計(jì)分析決定優(yōu)劣。,例3 商品銷售量與價(jià)格,[b,bint,r,rint,stats]=regress(Y,X,alpha),例3 商品銷售量與價(jià)格,一次函數(shù)的回歸模型,結(jié)果不是太好：? =0.05時(shí)模型有效，但

17、? =0.01時(shí)模型不能用； R2 較?。??1的置信區(qū)間包含零點(diǎn)。,shangpin.m,MATLAB 統(tǒng)計(jì)工具箱常用命令(三),rstool (x,y, 'model',alpha),x~n×m矩陣, n是數(shù)據(jù)容量, y~n維列向量，alpha~顯著性水平,,多元二項(xiàng)式回歸,model~從以下4個(gè)模型中選取: (設(shè)m=2),例3 商品銷售量與價(jià)格,x1=[?]; x2=[?]; x=[x1' x2

18、']; y=[?]';rstool(x,y, 'quadratic'),Export~向工作區(qū)傳送參數(shù)：beta--回歸系數(shù)，rmse--剩余標(biāo)準(zhǔn)差s，residuals--殘差(向量)；,以剩余標(biāo)準(zhǔn)差 rmse 最小為標(biāo)準(zhǔn)，比較4種模型,Model: linear purequadratic interaction quadratic rmse: 18.7362 16

19、.6436 19.1626 18.6064,? =（-312.5871 7.2701 -1.7337 -0.0228 0.0037）,例3 商品銷售量與價(jià)格,變量選擇,影響因變量的因素：,自變量x1, x2, ?xm及其簡單函數(shù), 如,將所有影響顯著的因素都納入回歸模型； 最終的模型盡量簡單, 即包含盡量少的因素。,變量選擇的標(biāo)準(zhǔn),從候選集合S={x1,…xk}中選出一子集

20、S1 (含p?k個(gè)自變量)與因變量y構(gòu)造回歸模型, 其優(yōu)劣由s2度量.,影響顯著的自變量進(jìn)入模型時(shí)，Q明顯下降，s減?。?影響很小的自變量進(jìn)入模型時(shí)，Q下降不大，p的增加 會(huì)使s變大.,變量選擇與逐步回歸,逐步回歸,從候選集合中確定一初始子集； 從子集外（候選集合內(nèi)）中引入一個(gè)對(duì)y影響顯著的； 對(duì)集合中的變量進(jìn)行檢驗(yàn)，剔除影響變得不顯著的； 迭代式地進(jìn)行引入和剔除，直到不能進(jìn)行為止。,選擇衡量影響顯著程度的統(tǒng)計(jì)量，通常用偏F

21、統(tǒng)計(jì)量； 適當(dāng)選取引入變量的顯著性水平?in和剔除變量的?out。,引入新的變量后原來模型內(nèi)影響顯著的變量變得不顯著，從而被剔除 ~ 自變量之間存在較強(qiáng)相關(guān)性的結(jié)果.,某些自變量之間的相關(guān)性很強(qiáng),回歸系數(shù)的置信區(qū)間較大,多重共線性,矩陣XTX病態(tài),,,MATLAB 統(tǒng)計(jì)工具箱常用命令(四),逐步回歸 stepwise (x,y,inmodel,penter,premove),x~候選變量集合的n×k 數(shù)據(jù)矩陣（n是數(shù)據(jù)容量

22、, k是變量數(shù)目）; y~因變量數(shù)據(jù)向量（n維）; Inmodel~初始模型中包括的候選變量集合的指標(biāo)（矩陣x的列序數(shù)，缺省時(shí)設(shè)定為全部候選變量）; penter~引入變量的顯著性水平（缺省時(shí)設(shè)定為0.05）; premove~剔除變量的顯著性水平（缺省時(shí)設(shè)定為0.10）。,輸出交互式畫面,例 兒童的體重與身高和年齡,可能存在二次函數(shù)關(guān)系,體重y,身高x1,體重y,年齡x2,例 兒童的體重與身高和年齡,ertong.m,初始結(jié)果