支持向量機.ppt-福建醫(yī)科大學

1、數(shù)據(jù)挖掘導論,福建醫(yī)科大學鄭偉成,支持向量機,,支持向量機(Support Vector Machine，SVM)是Corinna Cortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。在機器學習中，支持向量機（SVM，還支持矢量網(wǎng)絡）是與相關的學習算法有關的監(jiān)督學習模型，可以分析數(shù)據(jù)，識別模式，用于分類和回歸分析。,支持向量機（

2、SVM）是90年代中期發(fā)展起來的基于統(tǒng)計學習理論的一種機器學習方法，通過尋求結構化風險最小來提高學習機泛化能力，實現(xiàn)經(jīng)驗風險和置信范圍的最小化，從而達到在統(tǒng)計樣本量較少的情況下，亦能獲得良好統(tǒng)計規(guī)律的目的。    通俗來講，它是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，即支持向量機的學習策略便是間隔最大化，最終可轉化為一個凸二次規(guī)劃問題的求解。,什么是支持向量機SVM,在講SVM之前，必須

3、先弄清楚一個概念：線性分類器算法   考慮一個兩類的分類問題，數(shù)據(jù)點用 x 來表示，這是一個 n 維向量，w^T中的T代表轉置，而類別用 y 來表示，可以取 1 或者 -1 ，分別代表兩個不同的類。一個線性分類器的學習目標就是要在 n 維的數(shù)據(jù)空間中找到一個分類超平面，其方程可以表示為,線性分類,一個二維平面(一個超平面，在二維空間中的

4、例子就是一條直線)，如下圖所示，平面上有兩種不同的點，分別用兩種不同的顏色表示，一種為紅顏色的點，另一種則為藍顏色的點，紅顏色的線表示一個可行的超平面。,分類超平面,從上圖中我們可以看出，這條紅顏色的線把紅顏色的點和藍顏色的點分開來了。而這條紅顏色的線就是超平面，也就是說，這個超平面把這兩種不同顏色的數(shù)據(jù)點分隔開來，在超平面一邊的數(shù)據(jù)點所對應的 y 全是 -1 ，而在另一邊全是 1,分類超平面,應用分類函數(shù)顯

5、然，如果 f(x)=0 ，那么 x 是位于超平面上的點。我們不妨要求對于所有滿足 f(x)0 則對應 y=1 的數(shù)據(jù)點。,應用超平面進行分類,分類超平面,對于圖示數(shù)據(jù)，無法找到一個二維超平面進行正確分類,非線性可分,線性不可分的高緯解,可以看到兩個支撐著中間間隔的超平面，它們到中間的純紅線到兩個分割平面的距離相等，即我們所能得到的最大的幾何距離，而“支撐”這

6、兩個超平面的必定會有一些點，而這些“支撐”的點便叫做支持向量Support Vector。,支持向量,很顯然，由于這些 supporting vector 剛好在邊界上，所以它們滿足 （Y的取值為1或-1）那么支持向量機的分類過程，就是找到這些支撐點過程，通過求解WT與B，學習建立分類器,支撐點,簡而言之：在線性不可分的情況下，支持向量機通過某種事先選擇的非線性映射(核函數(shù))將輸入