分類器設計中的正則化技術研究.pdf

1、正則化技術誕生于20世紀60年代，最初是由數(shù)學領域提出用于解決不適定問題。隨著80年代機器學習的興起，正則化技術被廣泛應用于模式識別的各個領域。其通過引入含有問題先驗知識的正則化項使解穩(wěn)定的思想滲透在各種算法的設計中，并衍生出許多著名的方法，例如：正則化網(wǎng)絡（Regularization Networks，RNs），正則化最小二乘分類器（Regularized Least-squares Classification，RLSC），支持向

2、量機（Support Vector Machines，SVMs）和流形正則化（Manifold Regularization，MR）等等。本文著眼于模式識別中的重要環(huán)節(jié)之一――分類器設計，從正則化分類器的推廣性能、正則化項的構建以及分類器對先驗知識的融合等諸多層面，系統(tǒng)深入地研究了分類器設計中的正則化技術。本文的主要貢獻在于：
　　 1.從正則化的角度提出了一個新的基于平方誤差準則分類器的推廣誤差界。新的局部性正則化推廣誤差界將

3、分類器的推廣誤差限定在每個樣本的局部鄰域內，融入了數(shù)據(jù)空間的結構信息，克服了原有推廣誤差界（如VC維）只適用于線性分類器的缺點，并引入了可調節(jié)的正則化參數(shù)，增強了誤差界的靈活性。在此基礎上，本文進一步提出了一種新的分類器設計方法――局部性正則化方法（Locality Regularization，LR）。新方法具有兩個顯著的特點：（1）根據(jù)推廣誤差界，自然地由期望風險函數(shù)的定義導出正則化項；（2）通過與譜圖理論、流形學習相結合，將正則化

4、項構建在樣本的局部可變鄰域上，融合了數(shù)據(jù)空間的全局和局部結構信息，提高了分類器的推廣性能。實驗驗證了新算法在所用數(shù)據(jù)集上，尤其是對于訓練和測試樣本分布不均衡的數(shù)據(jù)集，具有比經(jīng)典正則化方法更優(yōu)的分類性能。
　　 2.進一步拓展了局部性正則化方法的應用領域，提出了一種基于局部性正則化推廣誤差界的特征選擇算法。作為一種混合濾波－封裝方法，新算法以局部性正則化推廣誤差界為評價函數(shù)，以局部性正則化方法為目標分類器，既保持了較高的計算效率，

5、又保證了利用所選擇特征設計的分類器具有良好的推廣性能。
　　 3.針對傳統(tǒng)正則化方法僅關注分類器數(shù)據(jù)獨立的光滑性懲罰這一缺點，提出了一種數(shù)據(jù)依賴正則化項的構建理念――判別正則化項（Discriminative Regularization Term，Rdisreg）。新的判別正則化項主要側重于：（1）分類器輸出空間中數(shù)據(jù)的可分性，通過采用不同的方式定義輸出樣本的類內緊湊性和類間分離性，逐步地在正則化項中引入有助于分類的樣本判別信

6、息和結構信息；（2）始終保持只含有一個需要調節(jié)的正則化因子，有效地避免多類分類優(yōu)化問題中潛在的“維數(shù)災難”；（3）較強的推廣性，通過將其與不同的損失函數(shù)、正則化項相結合，可以衍生出更多新的算法，從而最終為分類器設計提供一種新的途徑。本文以最小二乘損失函數(shù)為例，在嵌入了判別信息的基礎上，逐步在判別正則化項中融入全局和局部結構信息，提出了兩種判別性正則化方法（Discriminative Regularization，DR）。通過在目標函數(shù)

7、中嵌入等性約束，新算法不但可解析求解，并且求解框架自然地涵蓋了兩類和多類問題。實驗驗證了新算法優(yōu)越的推廣性和良好的穩(wěn)定性。
　　 4.支持向量機（SVM）是一種典型的正則化分類器，本文首次嘗試從數(shù)據(jù)結構粒度的觀點揭示了SVM及其相關改進方法之間的關系，構建了一個結構正則化大間隔分類器框架，并在此基礎上，進一步提出了一種新的大間隔算法――結構正則化支持向量機（Structurally Regularized Support Vec

8、tor Machine，SRSVM）。通過將數(shù)據(jù)的聚類結構信息以一個新的正則化項的形式嵌入到傳統(tǒng)的SVM目標函數(shù)中，新方法主要著重于：（1）保持傳統(tǒng)SVM的優(yōu)化框架，顯著降低同類算法的計算復雜度，簡化核化過程，快捷有效地收斂到全局最優(yōu)解，并保持解的稀疏性；（2）從理論上嚴格證明，數(shù)據(jù)結構信息的引入確實能夠得到比SVM更好的推廣性能。
　　 5.根據(jù)“沒有免費午餐定理”，本文對正則化技術的研究都涉及如何在正則化分類器中盡可能地融入