支撐向量機及滾球算法求解分類問題.pdf

1、哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文摘要支撐向量機是一種新的、功能強大的分類器，過去幾年中，在很多應(yīng)用領(lǐng)域都得到了廣泛應(yīng)用，例如:模式識別、數(shù)據(jù)挖掘等。而且近年來支撐向量機理論的發(fā)展和應(yīng)用也得到越來越多的關(guān)注。從支撐向量機的基本理論出發(fā)，衍生了很多不同的研究方向，比如，為解決非線性可分分類問題，引入了核函數(shù)進行空間變換的方法，使原始線性不可分分類問題變換到高維空間的線性可分分類問題，求解支撐向量機，從而達到分類目的對于樣本存在噪音的分類問題，

2、通過引入松弛變量的方法來控制樣本的容許錯誤率，從而構(gòu)造軟邊界支撐向量機問題:考慮到樣本點對于分類問題的貢獻率的不同，通過引入樣本貢獻率系數(shù)，從而構(gòu)造模糊支撐向量機最近，出現(xiàn)的V一支撐向量機，更是通過引入一個新的參數(shù)V來控制邊界誤差問題。特別是近年來利用幾何方法解釋和求解支撐向量機問題以及對支撐向量機算法的研究成為很多人關(guān)注的熱點。本文主要介紹了支撐向量機的基本原理和發(fā)展歷程，對支撐向量機的各個分支做了綜合性的論述，在此基礎(chǔ)上綜合支撐向量

3、機理論和幾何方法，給出了一種支撐向量機的幾何求解算法，同時針對最近剛剛提出不久的V一支撐向量機在多分類情況下做了一些討論工作。本文第一章主要回顧了支撐向量機理論的發(fā)展歷程第二章主要介紹了支撐向量機的數(shù)學(xué)理論基礎(chǔ)及主要的幾個分支第三章是本文的主要工作，主要討論了求解支撐向量機的滾球算法，和V一支撐向量機解決多分類的問題。關(guān)鍵詞支撐向量機、凸包、超平面，V一支撐向量機，模糊支撐向量機、核函數(shù)哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文第1章緒論1.1課題

4、背景1.1.1支撐向量機介紹隨著計算機的發(fā)展，特別是人工智能研究的發(fā)展，對于計算機算法也提出了越來越高的要求。人工智能主要解決的問題是對于一個未知的事件如何去決策的問題。而決策是依賴于對事件的判斷，也就是對未知事件的分類問題。對于錯綜復(fù)雜的未知事件的分類問題，現(xiàn)有的一些傳統(tǒng)分類方法已經(jīng)難以滿足這種需求，于是對于新方法的研究開發(fā)的需求越來越迫切?；跀?shù)據(jù)的機器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測數(shù)據(jù)(樣本)出發(fā)尋找規(guī)律，利用這些規(guī)律

5、對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測。包括模式識別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計學(xué)。傳統(tǒng)統(tǒng)計學(xué)研究的是樣本數(shù)目趨于無窮大時的漸近理論，現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)。但在實際問題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實際中表現(xiàn)卻可能不盡人意。而統(tǒng)計學(xué)習(xí)理論(StatisticalLeamingTheory或SLT)是一種專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論。而支撐向量機(簡稱SVM)又是統(tǒng)計

6、學(xué)習(xí)理論中最年輕的內(nèi)容，也是最實用的部分，是最近幾年來一門迅速發(fā)展的、應(yīng)用于學(xué)習(xí)機、函數(shù)估計等多個領(lǐng)域的新興技術(shù)。其核心內(nèi)容是在1992到1995年間提出的p.2.341，目前仍處在不斷發(fā)展階段SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，基本思想可用圖l的二維情況說明。圖1中，圓點和方塊點代表兩類樣本，我們的目的是試圖尋找一種方法，能把這兩類樣本分離開來，如圖1中的(a.(b)所示。從一種直觀的感覺出發(fā)，在兩類訓(xùn)練樣本點之間可以用一