結構驅動的單類分類器設計及拓展研究.pdf

1、分類器設計中的一個根本問題是如何提高其泛化能力，即根據(jù)從已有樣本中獲取的知識對未知樣本進行判別的能力。因此，盡可能從樣本中獲取足夠多的先驗知識是提高泛化能力的重要途徑之一。在單類分類中，由于異常樣本缺失使數(shù)據(jù)信息大為減少，從而使分類器設計更為困難，因此盡力挖掘僅有的一類目標數(shù)據(jù)中的先驗知識尤為重要。本文圍繞著單類分類器設計，并針對數(shù)據(jù)局部密度信息、結構信息、簇信息以及少量異常數(shù)據(jù)信息等先驗知識的挖掘和利用進行了較為深入的研究，所取得的主

2、要成果如下：
　　 (1)以密度估計和支持域方法為主線綜述了單類分類器的主要研究方法，并提出了一種兩者結合的混合模型。從密度估計、支持域的角度重新梳理了單類分類器的主要算法，并針對作為研究熱點的支持域方法，在洞察出各算法聯(lián)系的基礎上深入分析了超平面和超球模型的主要改進/變形模型；通過在支持域方法中嵌入局部密度，提出了適用于非對稱數(shù)據(jù)分布的混合模型——局部密度嵌入的單類支持向量機線性規(guī)劃算法。
　　 (2)提出了結構驅動學

3、習策略及相應單類模型——結構單類支持向量機(SOCSVM)，并推導出對應的錯分誤差界。針對現(xiàn)有超平面單類分類器只注重局部或全局學習之不足，提出了全局與局部學習兼?zhèn)涞慕Y構驅動學習策略，并以單類支持向量機為原型，通過嵌入數(shù)據(jù)結構分布信息設計出相應模型——結構單類支持向量機。作為本文后續(xù)工作的研究基礎，理論證明了其最優(yōu)解具有唯一性和魯棒性，并推導出相應的錯分誤差界。人工和UCI數(shù)據(jù)上的實驗結果表明：考慮了數(shù)據(jù)分布趨勢的SOCSVM具有更強的數(shù)

4、據(jù)描述能力，從而驗證了結構驅動學習策略的有效性；
　　 (3)發(fā)展出了適用于單類多簇數(shù)據(jù)分布的結構驅動模型——結構大間隔單類分類器(SLMOCC)?；跀?shù)據(jù)分布的結構驅動學習使多簇目標數(shù)據(jù)的處理不同于單簇數(shù)據(jù)，并因此衍生出相應的分類器——結構大間隔單類分類器(SLMOCC)。通過分別約束各簇數(shù)據(jù)到最優(yōu)超平面的馬氏距離，SLMOCC最大程度地利用了數(shù)據(jù)的結構信息并因此具有了更精細的數(shù)據(jù)描述。為捕捉數(shù)據(jù)的多簇分布，采用了可自動確定聚

5、類數(shù)目的凝聚型層次聚類算法。人工和UCI數(shù)據(jù)上的實驗結果表明SLMOCC的性能有顯著提高。
　　 (4)構建了單類和兩類問題以及數(shù)據(jù)不平衡問題的統(tǒng)一框架。通過在SOCSVM最小化正半空間的同時最大化正負類間隔或將結構驅動學習策略作用于v-SVM算法并引入超平面閾值，發(fā)展出了兩等價模型并統(tǒng)稱為偏結構數(shù)據(jù)描述與判別機(BSD3M)框架，放寬了經(jīng)典SVM中兩類支持向量平衡的限制，并因此能夠根據(jù)需要控制超平面的位置。通過合理設置目標函數(shù)

6、及判別函數(shù)中的相應參數(shù)，BSD3M不僅可用于含極少量異常的單類問題以提高數(shù)據(jù)描述能力，同時也可推廣于正負類數(shù)據(jù)大致平衡的兩類問題及少量數(shù)據(jù)更為重要的數(shù)據(jù)不平衡問題。部分UCI數(shù)據(jù)集上含5％異常數(shù)據(jù)的實驗結果表明：充分利用負類信息的BSD3M較之單類算法和SVM算法更為準確地描述了目標數(shù)據(jù)區(qū)域。
　　 (5)推廣出了一系列與上述各模型學習能力相當?shù)木€性規(guī)劃快速算法以提高計算效率。通過最小化目標數(shù)據(jù)到超平面的函數(shù)距離，推廣出SOCS