模糊與雙重正則化支持向量機的研究及應(yīng)用.pdf

1、近年來，支持向量機（Support Vector Machine）作為數(shù)據(jù)挖掘中的一種新方法得到了比較充分的發(fā)展與應(yīng)用.它是以最優(yōu)化理論為依托，主要用來探求一些不能通過原理分析從觀測數(shù)據(jù)（樣本）中得到的分類或回歸的規(guī)律，然后利用這些規(guī)律去分析海量數(shù)據(jù)中無法觀測到的數(shù)據(jù)現(xiàn)象。在線性和非線性優(yōu)化理論的支持下，SVM具有擬合精度高、選擇參數(shù)少、推廣能力強和全局最優(yōu)等特點。它較好地解決了數(shù)據(jù)挖掘中的小樣本、高噪聲、多野點、高維數(shù)的分類和回歸實際

2、問題并成為機器學(xué)習(xí)領(lǐng)域新的研究熱點，被廣泛應(yīng)用到模式識別、函數(shù)擬合和密度估計等領(lǐng)域。本文主要針對數(shù)據(jù)分析中的腫瘤特征基因提取、模糊隸屬度在支持向量機中應(yīng)用、不平衡數(shù)據(jù)的分類、雙重正則化支持向量機的性質(zhì)與應(yīng)用等問題進行研究，主要研究工作如下：
　　1、研究了支持向量機對小樣本、高維數(shù)的腫瘤特征基因的提取問題.根據(jù)結(jié)腸癌腫瘤基因表達譜樣本的高維數(shù)、小樣本和高噪聲等特點，提出用Bhattacharyya距離對腫瘤基因進行測量，濾除與分類

3、無關(guān)的基因，然后用腫瘤基因?qū)χС窒蛄繖C模型的敏感度進行二次提取。并用它的歸一化值對重要基因賦權(quán)，形成只有少數(shù)重要致病腫瘤基因的新樣本集.最后，把支持向量機應(yīng)用于對新樣本集的特征基因進行分析與測試。實驗證明這種分析方法提高了腫瘤診斷的準(zhǔn)確率。
　　2、針對不平衡數(shù)據(jù)集中類不平衡比比較大的分類問題，利用樣本點的特性建立類不平衡調(diào)節(jié)因子和模糊隸屬度，提出平衡模糊支持向量機.首先計算樣本協(xié)方差矩陣，求得類不平衡調(diào)節(jié)因子，然后計算各樣本點的

4、模糊隸屬度，得到各樣本對分類超平面的貢獻率.類平衡調(diào)節(jié)因子和模糊隸屬度同時對分類器的誤差項產(chǎn)生影響，結(jié)果表明：這種平衡模糊支持向量機對類不平衡比較大的分類問題具有很好的分類效果。
　　3、由于樣本中存在很多孤立點或噪聲，從而在分析過程中導(dǎo)致支持向量機易產(chǎn)生過學(xué)習(xí)問題。通過分析模糊支持向量機和臨近支持向量機的特點，借鑒它們的優(yōu)點：模糊隸屬度和臨近超平面，提出了一種基于數(shù)據(jù)域描述的模糊隸屬度數(shù)據(jù)處理方法?？紤]了樣本點到類中心的距離與樣

5、本對分類貢獻率的關(guān)系。這種數(shù)據(jù)預(yù)處理方法的應(yīng)用使分類問題變得更為清晰和準(zhǔn)確。結(jié)果表明：采用新的模糊隸屬度模糊臨近支持向量機算法有較高的識別率，但也耗費了較多的訓(xùn)練時間。
　　4、盡管SSVM通過應(yīng)用Sigmoid積分光滑函數(shù)將有約束條件的標(biāo)準(zhǔn)支持向量機問題轉(zhuǎn)化為無條件約束而且可微的凸優(yōu)化問題，但沒有考慮樣本集中的野點和噪聲對分類超平面的影響，而且Sigmoid積分光滑函數(shù)在拐點處的精確度沒有多項式光滑損失函數(shù)好。本文通過引用多項式

6、光滑損失函數(shù)和模糊隸屬度組成一種模糊光滑支持向量機.模糊隸屬度考慮每個樣本點到對分類超平面的貢獻率，野點和噪聲的貢獻率被賦予一個很小的值，影響很小。多項式光滑函數(shù)使得無約束可微的優(yōu)化問題可以選擇用BFGS算法和NA算法來求解。實驗結(jié)果表明這些修改在結(jié)果中起到積極的作用。
　　5、針對標(biāo)準(zhǔn)L2范數(shù)支持向量機和L1范數(shù)支持向量機在腫瘤基因分類分析中表現(xiàn)出的優(yōu)缺點，在利用Bhattacharyya距離剔除部分對分類無關(guān)緊要的特征基因從而

7、得到少數(shù)高相關(guān)至關(guān)重要特征基因的基礎(chǔ)上，一種雙重正則化支持向量機被應(yīng)用到DNA微陣列分類中。用二次多項式損失函數(shù)把這種有約束的優(yōu)化問題改變?yōu)闊o約束且可微的優(yōu)化問題，再用BFGS算法來求解.通過對兩種腫瘤特征基因數(shù)據(jù)集實驗分析知，該算法對腫瘤特征基因分類具有較強的可行性和有效性。
　　總之，支持向量機理論經(jīng)過十多年的發(fā)展，已經(jīng)積累了比較堅實的基礎(chǔ)，本文主要在現(xiàn)有理論的基礎(chǔ)上探求模糊隸屬度對幾種分類支持向量機的影響和怎樣利用數(shù)據(jù)預(yù)處理