基于分類噪聲檢測的支持向量機算法研究.pdf

1、支持向量機(Support Vector Machine, SVM)是基于統(tǒng)計學習理論的一種優(yōu)秀的機器學習方法。它在最基本的線性可分問題中，采用與結構風險最小化理論一致的間隔最大化原理產生原始凸規(guī)劃問題模型，使得基本問題模型具有良好的泛化能力。并且由于模型是凸規(guī)劃模型，所以能夠獲得全局最優(yōu)解。在獲得這些良好特性的基礎上，通過引入懲罰系數(shù)和懲罰因子來獲得線性不可分問題的問題模型。并通過進一步使用核函數(shù)理論來解決非線性問題，從而避免了維數(shù)災

2、難。由于其優(yōu)異的性能，已經廣泛應用于模式分類，密度估計和函數(shù)逼近等領域，成為機器學習中的研究熱點。
　　本文圍繞支持向量機在分類問題中的訓練過程和過學習現(xiàn)象，瞄準高維數(shù)據(jù)中的相對密度計算及與支持向量機的結合為關鍵問題，以提高支持向量機的訓練速度為主要目的，其具體的研究成果主要包括以下幾個內容：
　?、偻ㄟ^分析分類問題中噪聲數(shù)據(jù)的特點，引入分類噪聲的概念，提出了相對密度模型對其進行檢測。分類問題中的噪聲數(shù)據(jù)會明顯減弱決策曲線的

3、平滑度，降低決策函數(shù)的泛化能力，從而引起過擬合，因而挖掘這些噪聲數(shù)據(jù)具有重要意義。本文針對現(xiàn)有算法無法有效檢測分類問題中的噪聲數(shù)據(jù)的問題，基于噪聲數(shù)據(jù)在同類樣本集合中的樣本密度要小于在異類樣本集合中的樣本密度，引入了分類噪聲的概念，進一步提出了相對密度模型來對分類噪聲進行快速有效地檢測。仿真實驗表明相對密度模型能夠很好的識別分類噪聲。
　?、谕ㄟ^排除分類噪聲將不可分問題轉化為可分問題，簡化了支持向量機模型和訓練過程，并結合序列最小

4、優(yōu)化（Sequential Minimal Optimization, SMO）算法，提出了基于分類噪聲檢測的序列最小優(yōu)化算法（Classification Noises Detection based Sequential Minimal Optimization, CNSMO）。針對現(xiàn)有的支持向量機在訓練過程中依賴交叉驗證會大幅增加訓練時間的問題，CNSMO算法通過排除分類噪聲后平滑了決策函數(shù)，避免了分類噪聲產生的過學習現(xiàn)象，因此在

5、訓練過程中不需要使用交叉驗證也能夠獲得良好的預測精度。同時，由于排除分類噪聲將不可分問題轉化為可分問題，不需要對懲罰系數(shù)進行尋優(yōu)，簡化了拉格朗日參數(shù)迭代模型。仿真結果表明改進算法能夠在不犧牲算法預測精度的前提下，大幅縮短了支持向量機的訓練時間，算法具有良好的穩(wěn)定性。
　?、弁ㄟ^計算到某些固定參考點的度量來衡量不同樣本之間的位置差異，以避免直接計算樣本之間的歐式距離，提出了基于位置差異的近鄰搜索算法(Location Differe

6、nce based Algorithm，LDBA)。針對在相對密度計算中使用的現(xiàn)有近鄰算法在高維數(shù)據(jù)集中性能下降的問題，LDBA算法使用參考點與樣本所構成的角度和距離來度量不同樣本點之間的位置差異，避免對樣本之間的歐式距離直接進行計算，因此具有較低的算法時間復雜度。另外，LDBA算法不依賴索引樹結構，因此在高維數(shù)據(jù)集中仍然能夠保持良好的算法效率。仿真結果表明LDBA算法具有和基本算法接近的預測精度，但比同類算法在高維數(shù)據(jù)集中表現(xiàn)出了更好

7、的算法效率。
　?、芡ㄟ^將LDBA算法結合到CNSMO算法中，提出了基于位置差異和分類噪聲的最小序列化支持向量機算法(Location Difference and Classification Noise based Sequential Minimal Optimization,LD-CNSMO)。針對CNSMO算法在高維數(shù)據(jù)集中性能下降的問題，將LDBA算法結合到相對密度的計算過程中以檢測和消除分類噪聲，提出了LD-CNSM

8、O算法。由于LDBA算法不依賴樹索引結構，因此LD-CNSMO算法能夠在高維數(shù)據(jù)集中保持良好的算法效率。仿真結果表明LD_CNSMO算法在高維數(shù)據(jù)集中能夠獲得比CNSMO和其他算法更好的算法效率。
　　本論文引入分類噪聲后，通過使用基于LDBA的相對密度模型進行檢測和排除分類噪聲，并結合到SMO支持向量機中，避免了在支持向量機訓練過程中使用交叉驗證。在不影響算法泛化能力的情況下，大幅度提高了算法在低維和高維數(shù)據(jù)集中的訓練效率，并增