超球結構支持向量機的研究與應用.pdf

1、1995年,Cortes和Vapnik[1]首先提出了支持向量機(SVM)理論,它是結構風險化準則的具體實現(xiàn),且具有結構簡單、全局最優(yōu)以及泛化能力強的優(yōu)點,特別是在解決小樣本、非線性和高維模式中表現(xiàn)出特別的優(yōu)勢。因此該技術在許多領域得到成功的應用。但是支持向量機有一個十分明顯的缺點是訓練階段以及測試階段都需要花費大量的時間。這些缺點限制了支持向量機的應用,特別是對時間要求嚴格的應用,例如入侵檢測,它最大的要求就是能做到實時性,即對網(wǎng)絡數(shù)

2、據(jù)做出及時的決策,進而及時地制止入侵行為。要想將支持向量機成功的應用到入侵檢測,上面的缺點必須要得到解決,使之能做到實時決策。超球結構支持向量機(HSSVM)在一定程度上改進了傳統(tǒng)支持向量機的上述缺點,其思想是對于每一類的樣本,首先用一個較小的超球包裹樣本,允許偏遠的離群點位于超球的外部。然后通過度量一個新樣本與超球的球心距離來判斷該新樣本是否屬于該類?？紤]用一個較小的超球來包裹樣本,且允許遠離球心的偏遠樣本點落在球體外部。但是現(xiàn)實情況

3、是在大多數(shù)基于距離方程的核函數(shù)(如高斯核函數(shù))中,樣本點在原輸入特征空間中比較密集,而當映射到高維空間后,樣本點會變的非常稀疏。這就直接導致了包裹樣本的超球必須增大,超球的重疊數(shù)目增加,進而降低了分類準確率。本文將從兩個方面對(超球結構多類支持向量機)HSSVM進行改進,一是在原目標函數(shù)中增加一個參數(shù),使超球盡可能多地包裹靠近球心的樣本。二是通過構造映射密集型核函數(shù)使樣本點經(jīng)過非線性映射后仍能保持緊湊,從而減少對重疊區(qū)域的判斷。最后給出

4、了基于K近鄰算法(KNN)的超球重疊區(qū)域判斷算法。主要工作如下:
　　 (1)利用核模糊聚類算法,提出了基于隸屬度的樣本預選取方法。利用一定的隸屬度間隔,選取靠近支持向量機分類超平面的樣本來訓練分類模型。該方法不僅能夠較大地減少訓練和測試時間,而且分類準確率毫不遜于利用全部樣本訓練所得到的分類模型。
　　 (2)在目標函數(shù)和核函數(shù)稀疏性兩個方面對超球結構支持向量機進行了改進,提出了δ-超球結構多類支持向量機(δ-Hype