版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、支持向量機(jī)及應(yīng)用簡(jiǎn)介,機(jī)器學(xué)習(xí)的基本問(wèn)題和方法,從給定的函數(shù)集Ω中選擇出能夠最好地逼近系統(tǒng)響應(yīng)的函數(shù)ω,有指導(dǎo)機(jī)器學(xué)習(xí)的目的是根據(jù)給定的訓(xùn)練樣本,求出對(duì)某系統(tǒng)輸入輸出之間依賴關(guān)系的估計(jì),使它能夠?qū)ξ粗斎胱鞒霰M可能準(zhǔn)確的預(yù)測(cè)??梢砸话愕乇硎緸椋鹤兞縴與x存在一定的未知依賴關(guān)系,即遵循某一未知的聯(lián)合概率F(x,y)(x 和y 之間的確定性關(guān)系可以看作是其特例),有指導(dǎo)機(jī)器學(xué)習(xí)問(wèn)題就是根據(jù)N個(gè)獨(dú)立同分布觀測(cè)樣本在一組函數(shù){f (x,w)
2、}中求一個(gè)最優(yōu)的函數(shù) f (x,w0)對(duì)依賴關(guān)系進(jìn)行估計(jì),使期望風(fēng)險(xiǎn)最小,支持向量機(jī)(SVM),支持向量機(jī)(Surpport Vector Machines)簡(jiǎn)稱SVM,是統(tǒng)計(jì)學(xué)習(xí)理論中最年輕的內(nèi)容,也是最實(shí)用的部分。其核心內(nèi)容是在1995 年左右,由Vapnik和Chervonenkis提出的,目前仍處在不斷發(fā)展階段。,支持向量分類(Classification),線性分類器,,分類面,點(diǎn)x0到平面+b=0的距離為,最優(yōu)分類面
3、,,最大間隔(margin),分類面方程為支撐面之間的距離叫做分類間隔,線性可分的最優(yōu)分類模型,作廣義Lagrange乘子函數(shù),由KKT條件,有,,,,非支持向量的系數(shù)為0,b*也由支持向量求得,事實(shí)上,將 代入目標(biāo)函數(shù),由對(duì)偶理論知,系數(shù)可由如下二次規(guī)劃問(wèn)題解得給定x的分類結(jié)果特點(diǎn):穩(wěn)定性、魯棒性、稀疏性等,最大間距:由于對(duì)則,線性不可分(軟間隔),,線性不可分的情況,引入松弛變量,
4、不可分的解方程,subject to,,作Lagrange函數(shù),,最優(yōu)性條件,由KKT條件,,,若若,max,系數(shù)的解方程,C不同帶來(lái)的影響,支持向量回歸(Regression),回歸問(wèn)題,線性回歸:給定訓(xùn)練集(xi,yi),找個(gè)線性函數(shù)f(x)=wTx+b,來(lái)擬合數(shù)據(jù)最小二乘法(Least Square)其中 為回歸誤差.記
5、 ,則目標(biāo)函數(shù)可寫(xiě)為解為,最小二乘解的不足:數(shù)值穩(wěn)定性問(wèn)題,增加新數(shù)據(jù)對(duì)解都有影響,為使模型盡量簡(jiǎn)單需進(jìn)行假設(shè)檢驗(yàn).脊回歸(Ridge Regression)數(shù)值穩(wěn)定性較好.還可寫(xiě)為,,ε敏感損失回歸,ε敏感損失函數(shù)(ε-Insensitive Loss),損失函數(shù)比較,模型(線性ε損失)作Lagrange乘子函數(shù),KKT條件,,,代入模型得系數(shù)滿足的二次規(guī)劃變量代換:回歸方程:,用二次ε損
6、失函數(shù)時(shí),模型為,KKT條件,,代入模型得系數(shù)滿足的二次規(guī)劃變量代換:回歸方程:,非線性SVM與核(Kernel)函數(shù),非線性變換,基本思想: 選擇非線性映射Φ(X)將x映射到高維特征空間Z,在Z中構(gòu)造最優(yōu)超平面,對(duì)分類問(wèn)題系數(shù)可由二次規(guī)劃對(duì)回歸問(wèn)題求系數(shù):回歸方程:,這種變換可能比較復(fù)雜,因此這種思路在一般情況下不易實(shí)現(xiàn)。但是注意到,在上面的對(duì)偶問(wèn)題中,不論是尋優(yōu)函數(shù)還是分類函數(shù)都只涉及訓(xùn)練樣本
7、之間的內(nèi)積運(yùn)算。這樣,在高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算,而這種內(nèi)積運(yùn)算是可以用原空間中的函數(shù)實(shí)現(xiàn)的,我們甚至沒(méi)有必要知道變換的形式。我們看到,通過(guò)把原問(wèn)題轉(zhuǎn)化為對(duì)偶問(wèn)題,計(jì)算的復(fù)雜度不再取決于空間維數(shù),而是取決于樣本數(shù),尤其是樣本中的支持向量數(shù)。這些特征使有效地對(duì)付高維問(wèn)題成為可能。定義核函數(shù):,對(duì)分類問(wèn)題系數(shù)可由二次規(guī)劃對(duì)回歸問(wèn)題求系數(shù):回歸方程:,核函數(shù)矩陣K,,核的要求,Mercer’s theorem:
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 支持向量機(jī)原理及應(yīng)用(doc)
- 支持向量機(jī)模型研究及應(yīng)用
- 支持向量機(jī)模型研究及應(yīng)用.pdf
- 支持向量數(shù)據(jù)描述與支持向量機(jī)及其應(yīng)用.pdf
- 支持向量機(jī)最優(yōu)參數(shù)選取及應(yīng)用.pdf
- 支持向量機(jī)方法及應(yīng)用研究.pdf
- 支持向量機(jī)算法及應(yīng)用研究.pdf
- 支持向量機(jī)算法的研究及應(yīng)用.pdf
- 支持向量機(jī)改進(jìn)及其應(yīng)用.pdf
- 支持向量機(jī)研究及其應(yīng)用.pdf
- 支持向量機(jī)改進(jìn)及其應(yīng)用(1)
- 多尺度支持向量機(jī)及應(yīng)用研究.pdf
- 支持向量機(jī)改進(jìn)算法及應(yīng)用研究.pdf
- 支持向量機(jī)加速方法及應(yīng)用研究.pdf
- 支持向量機(jī)分析、實(shí)現(xiàn)和應(yīng)用.pdf
- 支持向量機(jī)及其應(yīng)用研究.pdf
- 支持向量機(jī)多分類方法的研究及應(yīng)用.pdf
- 基于支持向量機(jī)的算法及應(yīng)用研究.pdf
- 支持向量機(jī)在cta策略中的探索及應(yīng)用
- 支持向量機(jī)程序
評(píng)論
0/150
提交評(píng)論