版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、<p> 支持向量機在發(fā)電廠鍋爐建模的預測研究</p><p><b> 摘要</b></p><p> 支持向量機(Support Vector Machine ,SVM)是Corinna Cortes和Vapnik等于1995年首先提出,它建立在統(tǒng)計學習理論的VC 維理論和結構風險最小原理基礎上,根據(jù)有限的樣本信息在模型的復雜性(即對特定訓練樣本的
2、學習精度)和學習能力(即無錯誤地識別任意樣本的能力)之間尋求最佳折衷,以期獲得最好的推廣能力的一種算法。</p><p> 本次研究的目的:將支持向量機理論的算法引入發(fā)電廠再熱汽溫預測之中,在汽溫允許的范圍內(nèi)通過支持向量機算法構造出發(fā)電廠再熱系統(tǒng)模型,運用回歸運算的方法對發(fā)電廠再熱系統(tǒng)的汽溫進行預測。</p><p> 支持向量機在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢
3、,并能夠推廣應用到函數(shù)擬合建模等其他機器學習問題中。因而我們將發(fā)電廠再熱汽溫的預測問題看作是一種多影響因子的非線性函數(shù)關系的逼近問題,使得發(fā)電廠鍋爐建模問題大大簡化。</p><p> 關鍵詞:支持向量機; 鍋爐汽包水位;機器學習; 統(tǒng)計學習理論。</p><p> The prediction research of Support vector machine in the pow
4、er plant boiler modeling</p><p><b> Abstract</b></p><p> For the first time the Support Vector Machine (Support Vector Machine, SVM) was proposed by Corinna Cortes and Vapnik in 19
5、95. The Support Vector Machine is an algorithm based on the theory of VC of statistical learning theory and the theory on the basis of structure of minimum risk. According to the limited sample information it can choose
6、the best parameters between the complexity of the model that is study accuracy of the Specific training sample and learning ability (i.e. the ability of corr</p><p> The purpose of this study: the Support V
7、ector Machine algorithm to introduce into the prediction of power plant reheat steam temperature, and by the support vector machine algorithm construct the temperature of the power plant reheat steam system to control in
8、 the extent permitted ,and to predict the temperature of the power plant reheat steam system.</p><p> Support vector machine (SVM) that to solve the problems of the small sample, nonlinear and high dimensio
9、nal pattern recognition have many unique advantages, and it can promote the application of the function fitting in other machine learning problems. Thus the power plant boiler reheat steam problem can also be seen as an
10、approximation problem of nonlinear function that it was influence by many influence factors, and it make greatly simplified for power plant boiler modeling problem.</p><p> Keywords: Support vector machine
11、(SVM); boiler drum of water; machine learning; statistical learning theory.</p><p><b> 目錄</b></p><p><b> 緒論5</b></p><p><b> 背景及意義5</b></p
12、><p><b> 論文的主要內(nèi)容5</b></p><p> 第一章 統(tǒng)計學習理論原理及凸最優(yōu)解的基本理論7</p><p> 1.1統(tǒng)計學習理論原理7</p><p> 1.1.1基于數(shù)據(jù)的機器學習問題建模7</p><p> 1.1.2 經(jīng)驗風險最小化8</p>
13、<p> 1.1.3學習過程的復雜性8</p><p> 1.1.4推廣性界的問題9</p><p> 1.1.5 VC維理論10</p><p> 1.1.6結構風險最小化11</p><p> 1.2凸最優(yōu)解的基本理論12</p><p> 1.2.1 最優(yōu)化問題12</p
14、><p> 1.2.2最優(yōu)性條件13</p><p> 1.2.3對偶理論15</p><p> 1.3本章小結16</p><p> 第二章 支持向量機與支持向量回歸機17</p><p> 2.1 支持向量機的基礎17</p><p> 2.1.1支持向量機理論17<
15、;/p><p> 2.1.2核函數(shù)21</p><p> 2.1.3支持向量機的經(jīng)典分類問題22</p><p> 2.2支持向量機回歸問題27</p><p> 2.2.1 SVM的回歸原理27</p><p> 2.2.2 LIBSVM軟件使用29</p><p> 2.3
16、本章小結31</p><p> 第三章 發(fā)電廠鍋爐系統(tǒng)概論32</p><p> 3.1發(fā)電廠鍋爐系統(tǒng)32</p><p> 3.1.1發(fā)電廠的基本生產(chǎn)過程32</p><p> 3.1.2發(fā)電廠動力部分系統(tǒng)簡介32</p><p> 3.1.2發(fā)電廠鍋爐的基本概念34</p>&l
17、t;p> 3.2發(fā)電廠鍋爐再熱汽溫系統(tǒng)35</p><p> 3.2.1再熱汽溫的特性35</p><p> 3.2.2影響再熱汽溫變化的因素36</p><p> 3.2.3傳統(tǒng)再熱汽溫的調(diào)節(jié)方法37</p><p> 3.3本章小結37</p><p> 第四章 支持向量機在發(fā)電廠鍋爐的
18、預測研究39</p><p> 4.1支持向量的訓練過程39</p><p> 4.1.1訓練數(shù)據(jù)的選取39</p><p> 4.1.2 SVM數(shù)據(jù)的歸一化處理40</p><p> 4.1.3核函數(shù)的手動測試41</p><p> 4.2實驗結果43</p><p>
19、 4.3本章小結46</p><p><b> 致謝47</b></p><p><b> 參考文獻48</b></p><p><b> 附錄部分49</b></p><p> 附錄A 外文翻譯-原文部分49</p><p> 附錄
20、B 外文翻譯-譯文部分53</p><p> 附錄C支持向量機在發(fā)電廠鍋爐建模的相關應用代碼56</p><p> 附錄D 軟件的安裝說明及使用說明58</p><p><b> 緒論</b></p><p><b> 背景及意義</b></p><p> 基
21、于數(shù)據(jù)的機器學習是現(xiàn)代智能技術中的重要方面,是人工智能具智能特征、前沿的研究領域。其主要模型是利用采集到的樣本數(shù)據(jù)(輸入輸出數(shù)據(jù))擬合樣本模型的特征函數(shù),再通過這些特征函數(shù)對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預測。其主要形式包括模式識別、神經(jīng)網(wǎng)絡、智能控制等。由于傳統(tǒng)統(tǒng)計學研究的是樣本數(shù)目趨于無窮大時的漸近理論,而大多數(shù)現(xiàn)有學習方法也都是基于假設。但在實際問題中,樣本數(shù)往往是有限的,因此一些理論上能快速決策和預測的學習方法在實際中卻并不適用[
22、1]。</p><p> 然而在實際應用中,大多數(shù)系統(tǒng)都是非線性、時變、強耦合的多變量系統(tǒng),傳統(tǒng)的控制方法會給系統(tǒng)帶來很大的超調(diào)量[1]。雖然隨著智能控制研究的發(fā)展,人工神經(jīng)網(wǎng)絡、專家系統(tǒng)、模糊邏輯以及模糊神經(jīng)等非線性系統(tǒng)模型,也不斷應用到分類和預測中,并且這些非線性模型具有更快的響應和更小的超調(diào),而且對過程參數(shù)也具有一定的魯棒性,但仍有一些難以克服的缺陷,如優(yōu)化過程可能陷入局部極值,神經(jīng)網(wǎng)絡采用的經(jīng)驗風險最小
23、化準則泛化能力不強,無法控制其收斂以及收斂速度[1]。</p><p> 直到1995年Corinna Cortes和Vapnik提出基于統(tǒng)計學理論的通用學習方法——支持向量機(Support Vector Machine或SVM)才使得以往困擾機器學習的模型選擇、非線性、高維數(shù)和局部極小點等諸多問題,在一定程度上可得以解決。支持向量機由于其完整的理論框架和在實際應用中取得的很多好的效果,在機器學習領域受到了廣
24、泛的重視[1]。</p><p> 并且它在解決小樣本、非線性和高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢,并在很大程度上克服了“維數(shù)災難”和“過學習”等問題[2]。此外,它具有堅實的理論基礎,簡單明了的數(shù)學模型,因此,在模式識別、回歸分析、函數(shù)估計、時間序列預測等領域都得到了長足的發(fā)展,并被廣泛應用于文本識別、手寫字體識別、人臉圖像識別、基因分類及時間序列預測等[2]。</p><p>
25、 本次研究的意義在于:發(fā)電廠鍋爐是一種能量轉(zhuǎn)換設備,其利用燃料燃燒釋放的熱能或其他熱能加熱水或其他工質(zhì),生產(chǎn)規(guī)定參數(shù)(溫度、壓力)和品質(zhì)的蒸汽、熱水或其他工質(zhì),再利用這些生產(chǎn)出來的工質(zhì)的推動作用帶動汽輪機轉(zhuǎn)動,通過連桿將汽輪機旋轉(zhuǎn)的機械能轉(zhuǎn)化為電能[7]。因此發(fā)電廠鍋爐系統(tǒng)是一種非線性、時變大、強耦合的多變量系統(tǒng),傳統(tǒng)的數(shù)學建模方法使得我們對發(fā)電廠鍋爐再熱汽系統(tǒng)的建模造成困難,因此我們將支持向量機理論的算法引入發(fā)電廠鍋爐再熱汽溫的預測之
26、中,通過支持向量機算法構造出發(fā)電廠鍋爐再熱汽溫的輸出預測在允許的范圍內(nèi)變化,并運用回歸運算的方法對發(fā)電廠鍋爐再熱系統(tǒng)的汽溫進行預測。</p><p><b> 論文的主要內(nèi)容</b></p><p> ?。?)熟悉發(fā)電廠鍋爐的相關構造,認識電廠鍋爐過熱,再熱汽溫對機組安全,經(jīng)濟運行的重要性;</p><p> ?。?)了解統(tǒng)計學習理論原理及凸
27、最優(yōu)解的基本理論;</p><p> ?。?)掌握支持向量機相關理論基礎,結合結構風險最小化原則和VC維理論知識,建立滿足高精度和強泛化能力的支持向量機模型,用于對數(shù)據(jù)群的分類和回歸預測;</p><p> ?。?)分析支持向量機在發(fā)電廠鍋爐再熱汽溫預測的問題:</p><p> 通過改變影響再熱汽溫的變量,得到有關發(fā)電廠鍋爐再熱汽溫相關數(shù)據(jù)。</p>
28、<p> 將數(shù)據(jù)進行歸一化處理。</p><p> 比較多個核函數(shù)建立的支持向量機模型,選取最優(yōu)核函數(shù)。</p><p> 通過改變核函數(shù)相關參數(shù)和優(yōu)化函數(shù)懲罰因子,得到最優(yōu)預測效果。</p><p> 利用選取好的最優(yōu)支持向量機模型,對測試數(shù)據(jù)進行預報。</p><p> ?。?)完成用Matalab編寫的支持向量機在
29、發(fā)電廠鍋爐再熱汽溫預測的實現(xiàn)程序,并進行調(diào)試。</p><p> 第一章 統(tǒng)計學習理論原理及凸最優(yōu)解的基本理論</p><p> 1.1統(tǒng)計學習理論原理</p><p> 1.1.1基于數(shù)據(jù)的機器學習問題建模</p><p> 機器學習的基本定義:機器通過模擬人的學習行為獲取新知識和新技能的一種行為。</p><p
30、> 機器學習的研究目標是利用給定有限數(shù)量的訓練樣本求對某系統(tǒng)輸入輸出之間特征函數(shù)的估計,使它能夠?qū)ξ粗敵鲎鞒霰M可能準確的預測。</p><p> 基于數(shù)據(jù)的機器學習問題的基本模型可以用圖1-1表示。 </p><p> x y</p><p> 圖1-1 基于數(shù)據(jù)的機器學習問題基本模型</p>
31、;<p> 步驟1:我們通過輸入輸出的對應關系獲取參數(shù)模型的特征函數(shù)。</p><p> 步驟:2:我們通過已得到的學習機器通過輸入x獲取估計值y</p><p> G:數(shù)據(jù)產(chǎn)生器,從未知概率分布函數(shù)獨立產(chǎn)生隨機向量x,</p><p> S:訓練器,根據(jù)聯(lián)合分布抽取個獨立分布構成訓練樣本。</p><p> LM:學
32、習機器,選擇最優(yōu)解y去逼近訓練響應y的函數(shù)。</p><p> 機器學習問題一般可以表示為:變量y與x存在一定的未知依賴關系,即遵循某一未知的聯(lián)合概率(x和y之間的確定性關系可以看作是其特例),機器學習問題就是根據(jù)n個獨立同分布觀測樣本[2]:</p><p><b> ?。?.1-1)</b></p><p> 在一組函數(shù)的集合中估計一個
33、最優(yōu)的函數(shù),使 的期望函數(shù)值最接近實際[2]:</p><p><b> ?。?.1-2)</b></p><p> 其中,稱為最小風險泛函,稱作預測函數(shù)集,w為函數(shù)的廣義參數(shù)。衡量機器學習問題損失和錯誤程度的函數(shù)稱為損失函數(shù),用表示,為對y進行預測而產(chǎn)生的誤差大小,即采用最小平方誤差準則。其表達式[4]:
34、 (1.1-3)</p><p> 概率密度估計問題,學習的目的是根據(jù)訓練樣本確定x的概率密度,估計的概率密度函數(shù)為,即采用最大自然擬然估計法,求概率密度函數(shù)為,則損失函數(shù)可以定義為[4]: </p><p><b> ?。?.1-4)</b></p><p> 圖1-1所給出的基于數(shù)據(jù)的機器
35、學習問題的基本模型通常包涵三類典型問題:模式識別,回歸估計和概率密度估計[4]。</p><p> 1.1.2 經(jīng)驗風險最小化 </p><p> 所謂的經(jīng)驗風險最小化問題是指我們用有限樣本在前人經(jīng)驗算法的幫助下,求取最接近真實值的特征函數(shù),風險就是指估計輸出的值與真實值之間的誤差。</p><p> 而基于數(shù)據(jù)的機器學習問題的經(jīng)驗風險最小化目標在于使期望風險
36、達到最小化,但是由于我們可以利用的信息只有樣本,所以(1.1-1)(1.1-2)式的連續(xù)期望風險是無法計算的,因此,傳統(tǒng)的學習方法中采用了所謂經(jīng)驗風險最小化(ERM)準則,即用樣本定義經(jīng)驗風險泛函[4]:</p><p><b> (1.1-5)</b></p><p> 在回歸估計中,我們以廣泛采用的最小二乘法和密度估計的最大擬然法來介紹ERM原則。在模式識別系
37、統(tǒng)模型的估計中損失函數(shù),經(jīng)驗風險最小化等同于訓練樣本錯誤率;而在函數(shù)逼近中損失函數(shù),經(jīng)驗風險就是最小二乘法。而采用概率密度估計的損失函數(shù)的ERM準則就等價于最大擬然估計方法[4]。</p><p> 仔細研究經(jīng)驗風險最小化原則和基于數(shù)據(jù)的機器學習問題中期望風險最小化要求可以發(fā)現(xiàn),從期望風險最小化到經(jīng)驗風險最小化并沒有完全可靠的理論依據(jù),我們往往是采用前人或?qū)<业募记膳c經(jīng)驗,只是主觀上人為認定的近似結果。即使有辦
38、法使這些條件在數(shù)目無窮大時趨近于真實值,也無法保證在同等條件下的經(jīng)驗風險最小化方法在數(shù)目有限的情況下任能得到較好的結果[4]。</p><p> 盡管經(jīng)驗風險最小化有上述的多種問題,但經(jīng)驗風險最小化原則作為解決模式識別等基于數(shù)據(jù)的機器學習問題的基本思想統(tǒng)治了這一領域幾乎所有的研究[4]。人們多年來將大部分注意力集中到如何更好地最小化經(jīng)驗風險上,而實際上,在很多問題中的樣本數(shù)目也離無窮大相差甚遠,那么如何在有限樣
39、本下通過ERM準則得到真實風險較小的結果我們通過下面章節(jié)進行論述[4]。</p><p> 1.1.3學習過程的復雜性</p><p> 學習過程的復雜性相當于是對系統(tǒng)建模的復雜性的判定,在系統(tǒng)建模中往往考慮因素越多系統(tǒng)模型越復雜,當樣本數(shù)目不斷增加趨近于連續(xù)時,系統(tǒng)建模的經(jīng)驗風險最優(yōu)值能夠收斂到真實風險的最優(yōu)值,就是經(jīng)驗風險最優(yōu)值和真實風險能夠保持一致性。</p>&l
40、t;p> 例如:設是對給定的獨立同分布觀測數(shù)據(jù)集使經(jīng)驗風險泛函式(1.1-5)最小化的函數(shù),如下面兩序列概率收斂于同一個極限,即[4]:</p><p> , (1.1-6)</p><p> 則稱ERM原則對函數(shù)集,和概率分布函數(shù)是一致的。其中,為實際可能的最小風險,即式(1.1-1)的下界或最小值。</p><p> 經(jīng)驗風險最優(yōu)值和
41、真實風險的最優(yōu)值的關系可以用圖1-2表示。</p><p> 圖1-2 經(jīng)驗風險最優(yōu)值和真實風險的最優(yōu)值的關系示意圖</p><p> 實際測試中卻很難達到上述關系,但也存在一種可能,就是預測函數(shù)集中包涵某個特殊的函數(shù),使上述條件得到滿足。若從函數(shù)集中去掉這個函數(shù),則這些條件就不再滿足。保證一致性是所研究的學習方法的性質(zhì),而不是有函數(shù)集中的個別函數(shù)導致,于是要使一般的函數(shù)滿足一致性要
42、求我們提出了非凡一致性的概念,即要求是對預測函數(shù)的所有子集都成立,只有非凡一致性才是實際上有意義的,因此,后續(xù)章節(jié)所提及的一致性均是非凡一致性[3]。</p><p> 對于有界損失函數(shù),經(jīng)驗風險最小化學習的一致性的充分必要條件是經(jīng)驗風險式在(1.1-6)的條件下一致的收斂于真實風險:</p><p><b> ?。?.1-7)</b></p><
43、;p> 其中,P表示概率,和分別是個數(shù)據(jù)樣本下的經(jīng)驗風險和對同一個下的真實風險,這一定理將統(tǒng)計學中學習問題的一致性轉(zhuǎn)化為式(1.1-7)的最優(yōu)值一致性問題[3]。</p><p> 1.1.4推廣性界的問題 </p><p> ERM準則推廣失敗是神經(jīng)網(wǎng)絡的過學習問題,其主要原因是當我們拿到樣本的輸入輸出數(shù)據(jù)將全部注意力都集中在如何使最小,而達到預測輸出的y能快速跟蹤上實際y值
44、的輸出。但很快就發(fā)現(xiàn),訓練誤差小并不總能導致較好的預測效果。某些情況下,訓練誤差過小反而會導致推廣能力的下降,即真實風險的增加,這就是過學習問題。</p><p> 之所以出現(xiàn)過學習現(xiàn)象,一是因為樣本不充分,二是學習機器設計不合理。究其原因,是試圖用一個十分復雜的模型去擬合有限的樣本,導致喪失了推廣能力。在神經(jīng)網(wǎng)絡中,其自身通過過強網(wǎng)絡學習能力將每個樣本記住,而使得經(jīng)驗風險很快就可以收斂到很小甚至零,但卻根本無
45、法保證它對未來樣本能給出好的預測[2]。</p><p> 推廣性的界即經(jīng)驗風險和實際風險之間的關系,關于兩類分類問題,結論是:對指示函數(shù)集中的所有函數(shù)(包括使經(jīng)驗風險最小的函數(shù)),經(jīng)驗風險和實際風險之間以至少的概率滿足如下關系[4]:</p><p><b> ?。?.1-8)</b></p><p> 其中h是函數(shù)集的VC維,n是樣本數(shù)
46、. 這一結論從理論上說明了學習機器的實際風險是由兩部分組成的:一是經(jīng)驗風險(訓練誤差),另一部分稱作置信范圍,它和學習機器的VC維及訓練樣本數(shù)有關??梢院唵蔚乇硎緸閇4]:</p><p><b> ?。?.1-9)</b></p><p> ?。?.1-8)表明,在有限訓練樣本下,學習機器的VC維越高(復雜性越高)則置信范圍越大,導致真實風險與經(jīng)驗風險之間可能的差別
47、越大。這就是為什么會出現(xiàn)過學習現(xiàn)象的原因,機器學習過程不但要使經(jīng)驗風險最小,還要使VC維盡量小以縮小置信范圍,才能取得較小的實際風險,即對未來樣本有較好的推廣性[4]。 </p><p> 需要指出,推廣性的界是對于最壞情況的結論,在很多情況下是較松的,尤其當VC維較高時更是如此,研究表明時這個界肯定是松弛的,當VC維無窮大時這個界就不再成立。而且,這個界只在對同一類學習函數(shù)進行比較時有效,可以指導我們從函數(shù)集
48、中選擇最優(yōu)的函數(shù),在不同函數(shù)集之間比較卻不一定成立。實際上,尋找更好地反映學習機器能力的參數(shù)和得到更緊的界是學習理論今后的研究方向之一[4]。</p><p> 1.1.5 VC維理論</p><p> VC維(Vapnik-Chervonenkis Dimension)的概念是為了研究學習過程一致收斂的速度和推廣性,是對由學習機器能夠?qū)崿F(xiàn)的分類函數(shù)族的容量或表達力的測度[2]。<
49、;/p><p> 傳統(tǒng)的定義是:如果存在H個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2的H次方種形式分開,則稱函數(shù)集能夠把H個樣本打散;函數(shù)集的VC維就是它能打散的最大樣本數(shù)目H。若對任意數(shù)目的樣本都有函數(shù)能將它們打散,則函數(shù)集的VC維是無窮大,VC維反映了函數(shù)集的學習能力,VC維越大則學習機器越復雜(容量越大)[4]。</p><p> 分類函數(shù)集的VC維特點是能被機器對于分類函數(shù)的所有可能
50、二分標志無錯學習的訓練樣本的最大數(shù)量度量。</p><p> 假定有一個包含N個點數(shù)據(jù)集,我們無法用一條線性規(guī)劃對其每一個元素劃分,因此我們引用VC維理論,VC維代表的是分類點可以被劃分的情況,如下圖1-3(c)其平面直線的VC維等于3劃分情況為8個。由于分類點個數(shù)的不同,劃分方式也不同,如圖1-3(a)所示,其分類點能打散3個向量而不能打散4個向量,而如圖1-3(b)圖所示,向量分類點不能和劃分開來,<
51、/p><p> 0 (a) 0 (b) </p><p><b> ?。╟)</b></p><p> 圖1-3 多維函數(shù)的線性分類器和線性實函數(shù)的VC維</p><p> 對于線性函數(shù)而言VC維等于自由參數(shù)的個數(shù),而
52、總體而言VC維,在一定程度上指代的是系統(tǒng)的復雜程度,對于任意包含個訓練樣本的樣本集,我們對樣本集中的元素進行劃分的各種情況,也就是所謂的打散成個,并用打散樣本集的個數(shù)來衡量樣本的復雜度。</p><p> 1.1.6 結構風險最小化</p><p> 從上述的結論可以看出,ERM原則在有限樣本條件下是很難做到和實際系統(tǒng)的參數(shù)模型保持良好的一致性,但實際上我們對系統(tǒng)的建模,又需要同時滿足
53、最小化經(jīng)驗風險和置信范圍兩個條件。而在傳統(tǒng)方法中,選擇學習模型和算法的過程就等同于調(diào)整置信范圍的過程,相當于值的樣本點x輸入系統(tǒng)模型中可以得到準確無誤的y,而一旦輸入實驗樣本點就會產(chǎn)生于實際值偏離交大的誤差。于是由于缺乏理論指導和較大誤差的情況下,我們只能依賴先驗知識和經(jīng)驗,造成了如神經(jīng)網(wǎng)絡等方法對使用者技巧與經(jīng)驗過分的依賴,而造成局部最小點最優(yōu),推廣到全局時使用性能變差,無法控制其收斂以及收斂速度[6]。</p><
54、;p> 統(tǒng)計學習理論提出了一種新的策略,即把函數(shù)集構造為一個函數(shù)子集序列,使各個子集按照VC維的大?。ㄒ嗉处档拇笮。┡帕?;在每個子集中尋找最小經(jīng)驗風險,在子集間折衷考慮經(jīng)驗風險和置信范圍,取得實際風險的最小,如圖1-4所示。這種思想稱作結構風險最小化即SRM準則[4]。</p><p> 函數(shù)過分追求函數(shù)模型的推廣 過分追求函數(shù)模型與樣本數(shù)據(jù)的一</p>&l
55、t;p> 性函數(shù)而使得該函數(shù)模型經(jīng)驗 致性而使得該函數(shù)模型推廣到其他</p><p> 風險與損失函數(shù)變大 數(shù)據(jù)能力變差</p><p> 風險 </p><p> 欠學習
56、 過學習</p><p><b> 真實風險</b></p><p><b> 置信范圍</b></p><p> 支持向量機的目的在于</p><p> 獲取介于過學習與欠學 經(jīng)驗風險<
57、;/p><p> 習間的最優(yōu)值 h</p><p> s1 s2 s3 </p><p> 函數(shù)集子集:s1?s2?s3 VC維:h1≤h2≤h3 </p><p> 圖1-4 有序風險最小
58、化示意圖</p><p> 結構化風險 = 經(jīng)驗風險 + 置信風險;</p><p> 經(jīng)驗風險:分類器在給定樣本上的誤差;</p><p> 置信風險:分類器在未知文本上分類的結果的誤差;</p><p><b> 置信風險因素:</b></p><p> 樣本數(shù)量,給定的樣本數(shù)量越大
59、,學習結果越有可能正確,此時置信風險越??; </p><p> 分類函數(shù)的VC維,顯然VC維越大,推廣能力越差,置信風險會變大。 提高樣本數(shù)量,降低VC維,降低置信風險[7]。</p><p> 以往機器學習的目標是經(jīng)驗風險最小化,要降低經(jīng)驗風險,就要提高分類函數(shù)的復雜度,導致VC維很高,VC維高,置信風險就高,導致結構風險也高,以至于所求得的預測模型在訓練樣本輸入時能較好的跟蹤,但是
60、一旦有實驗樣本輸入時,預測模型輸出值與真實值偏差較大。</p><p> 實現(xiàn)SRM原則可以有兩種思路,一是在每個子集中求最小經(jīng)驗風險,然后選擇使最小經(jīng)驗風險和置信范圍之和最小的子集。顯然這種方法比較費時,當子集數(shù)目很大甚至是無窮時是不可行的。因此有第二種思路,即設計函數(shù)集的某種結構使每個子集中都能取得最小的經(jīng)驗風險(如使訓練誤差為0),然后只需選擇選擇適當?shù)淖蛹怪眯欧秶钚?,則這個子集中使經(jīng)驗風險最小的函數(shù)
61、就是最優(yōu)函數(shù)。支持向量機算法實現(xiàn)實際上就是融合經(jīng)驗風險最小化和置信范圍擇中尋優(yōu)的具體實現(xiàn),通過SRM準則對傳統(tǒng)的機器學習方法問題進行改進的問題[4]。</p><p> 1.2凸最優(yōu)解的基本理論</p><p> 1.2.1 最優(yōu)化問題</p><p> 什么是最優(yōu)解?在數(shù)學中是指尋找一個多變量函數(shù)最小值問題,常規(guī)方法有,求導,求條件極值等。</p>
62、;<p> 在曲線擬合問題中最優(yōu)值是指:</p><p><b> ?。?.2-1)</b></p><p> 其中a,b,c是未知參數(shù),假定現(xiàn)在實驗測得的組數(shù)據(jù)選擇適當a,b,c參數(shù)使盡可能靠近所以的實驗點,,如圖1-5所示[7]。</p><p> 圖1-5 曲線擬合示意圖</p><p> 此
63、問題用最小二乘法求解,即選擇適當a,b,c參數(shù),(1.2-2)使偏差平方和取最小值。</p><p><b> ?。?.2-2)</b></p><p> 就如同支持向量機最優(yōu)化條件是求經(jīng)驗風險最小化是一樣的,通過尋找一個最大間隔分類的最優(yōu)分類線,使得該最優(yōu)分類線在保證分類精度的同時,能夠使最優(yōu)分類線兩側內(nèi)的空白區(qū)域最大化。前者保證了經(jīng)驗風險最小化,后者分類間隔最大
64、化實際上就是使推廣性界中的置信范圍最小化,從而保證真實風險最小化。于是我們可以得出下述章所講述的支持向量機最優(yōu)化求解問題[7]。</p><p> 1.2.2最優(yōu)性條件</p><p> 我們解決一個問題時,如果將該問題表示為一個函數(shù),最優(yōu)化問題就是求該函數(shù)的極小值。通過高等數(shù)學知識可以知道,如果該函數(shù)連續(xù)可導,就可以通過求導,計算導數(shù)為零的點,來求出其極值。但現(xiàn)實問題中,如果不是連續(xù)
65、可導的,就不能用這種方法了,所以求非連續(xù)可導最優(yōu)解的問題可以分為兩種:</p><p><b> 無約束最優(yōu)問題</b></p><p><b> 有約束最優(yōu)問題</b></p><p> 無約束最優(yōu)算法可以表達為:。可以用數(shù)值計算方法中的牛頓法、最速梯度下降法等,通過多次循環(huán),求得一次近似的最優(yōu)解。</p&g
66、t;<p> 有約束問題,一般表達為:</p><p><b> ?。?.2-3)</b></p><p> 而支持向量機的算法最后歸結為求解二次規(guī)劃的問題,對于二次規(guī)劃的問題約束極值及最優(yōu)性條件充分必要條件Kuhn-Tucker 條件如下:</p><p> 等式約束性問題的最優(yōu)性條件</p><p&g
67、t;<b> 考慮: </b></p><p><b> (1.2-4)</b></p><p> 回顧高等數(shù)學中所學的條件極值:</p><p> 問題 求極值,在的條件下。 </p><p> 即:
68、 (1.2-5)</p><p> 引入Lagrange乘子: </p><p><b> ?。?.2-6)</b></p><p> 若是條件極值,則存在,使得:</p><p><b> ?。?.2-7)</b></
69、p><p> 推廣到多元函數(shù)情況,可得到對于等式約束的情況:</p><p> 分量形式: (1.2-8)</p><p> 若x*是其最優(yōu)解, 則存在使:</p><p><b> ?。?.2-9)</b></p><p> 幾何意
70、義如下圖1-6所示,考慮一個約束的情況最優(yōu)性條件即[8]:</p><p><b> ?。?.2-10)</b></p><p> 圖1-6 最優(yōu)性條件幾何意義</p><p> 這里最優(yōu),與共線,而非最優(yōu)與不共線。</p><p> 1.2.3對偶理論[4]</p><p> 在約束問題
71、解的最優(yōu)性條件中,不僅包含解的向量,而且包含一個對應的Lagrange乘子向量。如果事先知道這個Lagrange乘子向量,常常會減少求解原來約束問題的困難,這導致求解約束問題的一個新途徑;首先求出與解相應的這個Lagrange乘子,然后據(jù)此求出約束問題。顯然這里有兩個問題需要解決[4]:</p><p> 能否構造一個以Lagrange乘子向量為變量的最優(yōu)化問題,使得該問題的解正好是與解相應的Lagrange乘
72、子。</p><p> 從與解相應的Lagrange乘子出發(fā),能否很快得到原約束問題的解而以上問題可以通過對偶理論得以解決: </p><p> 對偶問題概念:任何一個線性規(guī)劃問題都有一個與之相對應的線性規(guī)劃問題,前者稱為原始問題,后者就稱為“對偶”問題。對偶問題是對原問題從另一角度進行的描述其最優(yōu)解與原問題的最優(yōu)解有著密切的聯(lián)系,在求得一個線性規(guī)劃最優(yōu)解的同時也就得到對偶線性規(guī)劃的最
73、優(yōu)解[7]。支持向量機最優(yōu)分類面的求解問題中,我們可以將上述問題轉(zhuǎn)化為凸二次規(guī)劃尋優(yōu)問題的對偶問題,將支持向量機的分類模型轉(zhuǎn)換為凸二次規(guī)劃模型,使得在凸函數(shù)中僅有一個最優(yōu)值,省去了曲線函數(shù)中的多極值的干擾,但表達式中還存在對應的Lagrange乘子向量使參數(shù)變量過多而使得計算困難如(1.2-6)所示[6]。</p><p><b> (1.2-11)</b></p><
74、p> 我們通過求條件極值,將 用代替大大減少計算參數(shù)個數(shù)如(1.2-7)所示:</p><p> , (1.2-12)</p><p> 使得決策表達式變?yōu)椋?使得支持向量機最優(yōu)分類面凸二次規(guī)劃尋優(yōu)問題的預測系統(tǒng)中的未知參數(shù)個數(shù)減少為和。</p><p><b> 1.3本章小結</b></p><
75、;p> 本章通過論述統(tǒng)計學基本理論,為以下章節(jié)的概念論述作理論基礎,第一節(jié)通過簡單論述統(tǒng)計學習原理、機器學習建模、經(jīng)驗風險最小化、學習過程的復雜性、推廣性界、VC維理論、結構風險最小化等相關理論。之后我們討論經(jīng)驗風險最小化和推廣性自身存在的矛盾,并運用支持向量機通過結構風險最小化達到經(jīng)驗風險最小化和推廣能力同時達到最優(yōu)理論結構,經(jīng)驗風險最小化是衡量系統(tǒng)模型的輸出函數(shù)與真實值的誤差,復雜性是對系統(tǒng)建模函數(shù)復雜度判定,而VC維是衡量
76、系統(tǒng)建模推廣度。</p><p> 第二節(jié)通過進一步論述支持向量機的最優(yōu)化問題、優(yōu)化極值條件、對偶問題,進一步完善回歸和擬合的問題。系統(tǒng)回歸和擬合問題的初衷在于與期望產(chǎn)生的輸出的誤差最小化,而最小化則更靠近二次規(guī)劃尋優(yōu)的問題,求最優(yōu)值問題就要牽扯到約束條件和無約束條件,通過一定約束條件求解,我們要進一步簡化問題的解,就希望減少未知參數(shù)個數(shù),因此我們又需要對偶定理做為鋪墊。</p><p>
77、; 第二章 支持向量機與支持向量回歸機</p><p> 2.1 支持向量機的基礎</p><p> 2.1.1支持向量機理論</p><p> ?。?)SVM的基本思想</p><p> SVM是從樣本集合點線性可分情況下最優(yōu)分類平面發(fā)展而來的,其基本形式如圖2-1所示。SVM的機理是尋找一個最大間隔分類的最優(yōu)分類線,使得該最優(yōu)分類
78、線在保證分類精度的同時,能夠使最優(yōu)分類線兩側內(nèi)的空白區(qū)域最大化。前者保證了經(jīng)驗風險最小化,后者分類間隔最大化實際上就是使推廣性界中的置信范圍最小化,從而保證真實風險最小化。推廣到高維空間,最優(yōu)分類線就成了最優(yōu)分類面,如果不去精確高維空間的具體維數(shù)我們將最優(yōu)分類面統(tǒng)稱為超平面。</p><p><b> 表示樣本點</b></p><p><b> 表示樣
79、本點</b></p><p> SVM的機理在于尋找一個最大間隔</p><p> 分類的超平面將兩個樣本分類</p><p> 圖2-1 SVM的原理示意圖</p><p> 實際上,一個線性函數(shù)是一個實值函數(shù)(即函數(shù)值是連續(xù)的實數(shù)),而我們的分類問題是需要輸出一個離散數(shù)值,于是我們用1表示某一類別,而用0表示示某一類別
80、,這時我們再在這個實數(shù)函數(shù)的基礎上附加閥值,就可以通過分類函數(shù)執(zhí)行得到大于還是小于這個閥值的類別歸屬。</p><p> 例如我們現(xiàn)有一個分類函數(shù):,當取閥值為0時,通過這樣一個分類函數(shù)對樣本進行判斷,若,就判斷為類,若,就判斷為類,等于時就暫緩判斷,于是我們可以得出一個的決策函數(shù),即:</p><p><b> ?。?.1-1)</b></p>&l
81、t;p> 實際上很容易看出,中間的分類直線并不是唯一的,我們稍微將其旋轉(zhuǎn)一下,只要不要將兩類數(shù)據(jù)分錯,任然可以達到上面所說的效果。因此就涉及到一個問題,對同一問題存在多種分類時,哪一個效果最好,于是我們用最大間隔作為衡量分類效果的指標。</p><p> 現(xiàn)再將w和b歸一化處理,即用和分別代替原來的w和b,那么間隔可以寫成也就是解析幾何中點到直線的公式,推廣到超平面也就是到的距離,這種幾何間距所表示的正
82、是點到超平面的歐式距離,其基本實現(xiàn)可以圖2-2所示的二維情況說明。</p><p> 且延長線與y軸交于b w為分類線的范數(shù)也就是d的長度</p><p> 圖2-2 SVM的最優(yōu)分類平面</p><p> 我們之所以求取幾何間隔最大化,是因為幾何間隔與樣本的誤分次數(shù)存在對應關系:</p><p> 誤分次數(shù)
83、 (2.1-2)</p><p> 其中為樣本點中向量最長值,因此有上式可以看出,誤分次數(shù)的上界與幾何間隔有關。</p><p> 又由于凡是求解最大化的問題我們可以用最小化解決,因此我們得出求最優(yōu)分類線表達式:</p><p><b> ?。?.1-3)</b></p><p> 當
84、給定目標后,我們需要加上約束條件,我們將最小間隔定為1,所以按照間隔定理,滿足下面的式子總是成立的。</p><p><b> ?。?.1-4)</b></p><p> 于是支持向量機的原理的基本表達式寫成:</p><p><b> ?。?.1-5)</b></p><p> (2)最優(yōu)分類
85、面[4]</p><p> 因此我們用拉格朗日函數(shù)優(yōu)化分類面,得到如下定義:</p><p><b> (2.1-6)</b></p><p><b> 由條件極值得:</b></p><p><b> (2.1-7)</b></p><p>
86、 可以將上述最優(yōu)分類面的求解問題可以轉(zhuǎn)化為凸二次規(guī)劃尋優(yōu)問題的對偶問題:</p><p><b> ?。?.1-8)</b></p><p> 據(jù)此求出(最優(yōu)解,算法另述)后:</p><p> , (2.1-9)</p><p> 是分類閥值,有約束條件求解,最優(yōu)分類面函數(shù)為:</p>
87、;<p><b> ?。?.1-10)</b></p><p> 上式為SVM的一般表示形式。</p><p> ?。?)廣義的最優(yōu)分類面</p><p> 上述的方法為了保證訓練樣本被正確分類的前提下,通過最大分類間隔獲得最好的推廣性能。當最優(yōu)分類平面不能把兩類點完全分開時,希望在經(jīng)驗風險和推廣性能之間求取某種平衡,則可以通
88、過引入松弛因子,允許錯分樣本的存在,此時分類平面滿足[4]:</p><p><b> ?。?.1-11)</b></p><p> 該式考慮了最小化錯分樣本數(shù)和最優(yōu)推廣能力,目標函數(shù)改為[4]:</p><p><b> ?。?.1-12)</b></p><p> 式中,C是一個正數(shù),稱為懲
89、罰因子,式(2.1-10)可通過如下的二次規(guī)劃來實現(xiàn)[4]: </p><p><b> ?。?.1-13)</b></p><p> 支持向量機的原理是基于線性劃分的。但是可以想象,并非所有數(shù)據(jù)都可以線性劃分。如二維空間中的兩個類別的點可能需要一條曲線來劃分它們的邊界。支持向量機的原理是將低維空間中的點映射到高維空間中,使它們成為線性可分
90、的,再使用線性劃分的原理來判斷分類邊界[2]。在高維空間中,它是一種線性劃分,而在原有的數(shù)據(jù)空間中,它是一種非線性劃分。但是討論支持向量機的算法時,并不是討論如何定義低維到高維空間的映射算法(該算法隱含在其“核函數(shù)”如圖2-3中),而是從最優(yōu)化問題(尋找某個目標的最優(yōu)解)的角度來考慮的[4]。</p><p> 低維數(shù)據(jù)空間 高維數(shù)據(jù)空間 </p>
91、<p> 圖2-3 SVM基本思路示意圖</p><p> 因而線性不可分問題映射到高維空間變成線性可分問題,因而無論是尋找目標函數(shù),還是尋找最優(yōu)分類面,都只涉及到點積的運算。而我們只用關注優(yōu)化問題而不用考慮對應關系。因此目標函數(shù)變?yōu)椋?lt;/p><p><b> ?。?.1-14)</b></p><p><b>
92、分類函數(shù)也變?yōu)椋?lt;/b></p><p><b> ?。?.1-15)</b></p><p> 所以SVM分類函數(shù)可以類似于一個神經(jīng)網(wǎng)絡,輸出的每一個線性組合的每一個中間節(jié)點都對應一個支持向量機,如下圖2-4所示。</p><p><b> y</b></p><p> 圖2-4
93、 SVM基本分類示意圖</p><p> 由于最終的判別函數(shù)中實際只包含未知向量與支持向量內(nèi)積的線性組合,因此,在模式識別時要計算特征函數(shù)的復雜度取決于支持向量的個數(shù)。概括的說,支持向量就是首先通過用內(nèi)積函數(shù)定義的非線性變化將輸入空間變換到一個高維空間,然后在這個空間中求廣義的最優(yōu)分類面[4]。</p><p><b> 2.1.2核函數(shù)</b></p>
94、;<p> 根據(jù)模式識別理論,低維空間線性不可分的模式通過非線性映射到高維特征空間則可能實現(xiàn)線性可分,但是如果直接采用這種技術在高維空間進行分類或回歸,則存在確定非線性映射函數(shù)的形式和參數(shù)、特征空間維數(shù)等問題[8]。而最大的障礙則是在高維特征空間運算時如(2.1-16)存在的“維數(shù)災難”,而這種問題最有效的解決辦法是運用核函數(shù)技術。核函數(shù)將m維高維空間的內(nèi)積運算轉(zhuǎn)化為n維低維輸入空間的核函數(shù)計算,從而巧妙地解決了在高維特
95、征空間中計算的“維數(shù)災難”等問題,從而為在高維特征空間解決復雜的分類或回歸問題奠定了理論基礎[2]。</p><p><b> ?。?.1-16)</b></p><p> 核函數(shù)是這樣定義的:對所有訓練樣本而言,而,,若函數(shù)K滿足:</p><p> ,則稱函數(shù)K是核函數(shù)。其中是從輸入空間x到內(nèi)積特征空間的映射,(.)表示內(nèi)積。單從核函數(shù)
96、的定義,我們并不能很容易的選擇和確定核函數(shù),但可以通過Mercer定理從理論上去確定核函數(shù)并了解其特性,事實上任何一個函數(shù)只要滿足Mercer條件,就可用得到原輸入空間中對應的非線性算法。 </p><p> 目前研究最多的核函數(shù)主要有三類:</p><p> 多項式核函數(shù) </p><p> 徑向基函數(shù)
97、 </p><p> Sigmoid核函數(shù) </p><p> 其中由于徑向基核函數(shù)對應的特征空間是無窮維的,有限的樣本在該特征空間中肯定是線性可分的,因此徑向基核是最普遍使用的核函數(shù)。</p><p> 2.1.3支持向量機的經(jīng)
98、典分類問題</p><p> ?。?)線性可分的二分類問題[4]</p><p> 線性可分的二分類問題是指:訓練樣本可以用一條直線(如果數(shù)據(jù)只有二維)或一個超平面劃分開。用一個多維空間中的超平面將數(shù)據(jù)分隔為兩個類有三種基本方法:</p><p> 平方最近點法:用兩類點中最近的兩點連線的平分線作為分類線(面);</p><p> 最大
99、間隔法:求分類面,使分類邊界的間隔最大。分類邊界是值從分類面分別向兩個類的點平移,直到遇到第一個數(shù)據(jù)點。兩個類的分類邊界的距離就是分類間隔。</p><p> 分類平面表示為:。注意,x是多維向量。分類間隔的倒數(shù)為:。所以該最優(yōu)化問題表達為:</p><p><b> ?。?.1-17)</b></p><p> 其中的約束是指:要求各數(shù)據(jù)
100、點到分類面的距離大于等于1。其中,為數(shù)據(jù)的分類。</p><p> 線性支持向量分類機:</p><p><b> 分類面要求,</b></p><p><b> ?。?.1-18)</b></p><p> 據(jù)此求出(最優(yōu)解,算法另述)后:</p><p> ,
101、 (2.1-19)</p><p> 說明:線性支持向量機是基于最大間隔法的,該問題是一個二次規(guī)劃問題,使用拉格朗日函數(shù)合并優(yōu)化問題和約束,再使用對偶理論得到上述的分類優(yōu)化問題。</p><p> ?。?)線性不可分問題[4]</p><p><b> 線性軟間隔分類機</b></p><p> 基
102、本思路:由于樣本線性不可分,原來對間隔的要求不能達到。引入松弛變量,使約束條件弱化為:</p><p><b> ?。?.1-20)</b></p><p> 但是,我們?nèi)匀幌M撍沙谧兞孔钚』ㄈ绻?,則就是原線性硬間隔分類機)。于是,在優(yōu)化目標函數(shù)中使用懲罰參數(shù)C來引入對最小化的目標。這樣,該分類機的模型為:</p><p><b&g
103、t; 分類面要求:</b></p><p><b> ?。?.1-21)</b></p><p> 以此為原問題,其對偶問題為:</p><p><b> ?。?.1-22)</b></p><p> 通過對偶理論的條件極值計算方法減少系統(tǒng)參數(shù),若系統(tǒng)的方程參數(shù)的矩陣形式其未知數(shù)為
104、個,運用上述方法系統(tǒng)的方程參數(shù)減少為時,使系統(tǒng)方程參數(shù)大大減少。</p><p> 非線性硬間隔分類機[4]</p><p> 基本思路是:可以將低維空間中的曲線(曲面)映射為高維空間中的直線或平面。數(shù)據(jù)經(jīng)這種映射后,在高維空間中是線性可分的。設映射為:,則高維空間中的線性支持向量機模型為:</p><p><b> 分類面要求:</b>
105、</p><p><b> ?。?.1-23)</b></p><p> 需要注意的是,由于數(shù)據(jù)被映射到高維空間,的計算量比大得多。此時引入了所謂核函數(shù):</p><p><b> ?。?.1-24)</b></p><p> 由上式可見,核函數(shù)的作用是,在將x映射到高維空間的同時,也計算了兩個
106、數(shù)據(jù)的在高維空間的內(nèi)積,使計算量回歸到的量級。</p><p> 非線性軟間隔分類機(C-支持向量分類機)</p><p> 非線性硬間隔分類機雖然將訓練數(shù)據(jù)映射到高維空間中,但核函數(shù)的選擇只有幾種,它們并不能保證在任何情況下都可以將訓練數(shù)據(jù)映射到足夠高的維度,以使它們成為線性可分的。因此,有理由在此基礎上引入線性軟間隔分類機中的松弛變量。</p><p>&l
107、t;b> 這樣,原問題為:</b></p><p><b> 映射:</b></p><p><b> 其中:</b></p><p><b> 分類面:</b></p><p><b> ?。?.1-25)</b></p&
108、gt;<p><b> 其對偶問題為:</b></p><p><b> ?。?.1-26)</b></p><p> 所謂的軟間隔,通過引入錯誤分類樣本,以增大間隔距離,并用一定的松弛度去衡量容錯樣本個數(shù),非線性軟間隔分類機的工作原理如圖2-5所示。</p><p> 圖2-5 非線性軟間隔分類機的工
109、作原理</p><p> ν-支持向量機分類機</p><p> C-支持向量機中有兩個相互矛盾的目標:最大化間隔和最小化訓練錯誤。其中的常數(shù)C起著調(diào)和這兩個目標的作用。定性地講,C值有明確的含義:選取大的C值,意味著更強調(diào)最小化訓練錯誤。定量地講, C值本身并沒有明確的意義,所以C值的選取比較困難。為此人們提出ν-支持向量機分類機的模型,用另一個參數(shù)ν代替參數(shù)C,而參數(shù)ν有一些直觀的
110、意義[4]。</p><p> ν-支持向量機分類機的原始問題,如(2.1-27)所示: (2.1-27)</p><p> 其對偶問題為: </p><p><b> ?。?.1-28)</b></p><p><b> 有解使得:</b></p>
111、<p><b> ?。?.1-29)</b></p><p><b> ?。?.1-30)</b></p><p><b> 其中,,。</b></p><p><b> ?。?.1-31)</b></p><p> 則非線性支持向量機的執(zhí)
112、行步驟如下[4]:</p><p> 設已知樣本點,其中,,。</p><p> 選取適當?shù)膮?shù)ν和核函數(shù)K,構造并求解如下的最優(yōu)化問題:</p><p><b> ?。?.1-32)</b></p><p><b> 求得最優(yōu)解。</b></p><p><b&
113、gt; 選取,,計算:</b></p><p><b> ?。?.1-33)</b></p><p> 構造決策函數(shù): (2.1-34)</p><p> 而且當數(shù)據(jù)樣本個數(shù),ν以1的概率漸近于支持向量機的個數(shù)和數(shù)據(jù)樣本點個數(shù)之比,所以參數(shù)ν有實際的意義。</p><p&g
114、t; 2.2支持向量機回歸問題</p><p> 2.2.1 SVM的回歸原理</p><p> 在支持向量機用于函數(shù)回歸中,其思路與在分類思想很相似,我們目標都是要找出一條能將分類點分類的直線,但我們要最終得到的回歸線是一條可以預測的特征函數(shù)曲線,于是將非線性回歸函數(shù)近似于一維線性回歸,也就是相當于我們將曲線無限放大時,曲線接近于直線是一樣道理,然后我們得出一條分類直線,通過一定的
115、松弛因子使得在最小的范圍內(nèi)上下平移分類直線,使所形成線性回歸不敏感帶將采樣點都包含在其中,如圖2-6(a)所示,其輸出損失如圖2-6(b)所示。</p><p> ?。╝) (b)</p><p> 圖2-6線性支持向量回歸機原理</p><p> 從觀測數(shù)據(jù)中學習歸納出系統(tǒng)規(guī)律, 并利
116、用這些規(guī)律對未來數(shù)據(jù)或無法觀測到的數(shù)據(jù)進行預測, 是進行數(shù)據(jù)挖掘一直關注的問題?;貧w分析是預測方法之一, 其目的是找出數(shù)值型變量間的依賴關系, 用函數(shù)關系式表達出來?;貧w分析可以進行因果預測, 模型僅僅依賴于要預測的變量與其他變量的關系[12]。模型是否能提供合理的預測,主要在于自變量和因變量的分布是否符合模型。一般地, 在建立回歸方程時, 將會考慮多種可能的自變量的集合, 保證回歸方法預測的準確性。回歸分析中的變量有兩類: 自變量和因
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 畢業(yè)論文----基于遺傳算法的核支持向量機研究
- 基于支持向量機的冰塞水位預測研究.pdf
- 畢業(yè)論文----測井時間序列的支持向量機回歸預測
- 鍋爐汽包水位控制系統(tǒng)畢業(yè)論文
- 汽包水位畢業(yè)論文---基于plc工業(yè)鍋爐汽包水位控制系統(tǒng)的設計
- 鍋爐汽包水位控制系統(tǒng)設計-畢業(yè)論文
- 鍋爐汽包水位控制系統(tǒng)設計畢業(yè)論文
- 基于支持向量機的電站鍋爐燃燒穩(wěn)定性研究.pdf
- 【畢業(yè)論文】基于單片機的水塔水位控制系統(tǒng)
- 支持向量機分類算法的c#程序?qū)崿F(xiàn)及其應用【畢業(yè)論文】
- 基于最小二乘支持向量機的燃煤鍋爐燃燒優(yōu)化研究.pdf
- 畢業(yè)論文(設計)基于單片機的水位控制系統(tǒng)設計
- 基于controllogix5550plc的鍋爐水位控制系統(tǒng)畢業(yè)論文外文翻譯
- 基于支持向量機的分類研究 - 中國科技論文網(wǎng)
- 基于邊界向量預選的支持向量機算法研究.pdf
- 畢業(yè)論文(設計)基于單片機的水位控制系統(tǒng)設計
- 基于c51單片機的船舶輔鍋爐水位自動控制系統(tǒng)設計【畢業(yè)論文】
- 基于模糊邏輯的水箱水位控制【畢業(yè)論文】
- 基于殼向量的支持向量機快速學習算法研究.pdf
- 基于支持向量機的股市預測研究.pdf
評論
0/150
提交評論