統(tǒng)計學習中回歸與正則化譜聚類算法的研究.pdf

1、在本文中,我們主要研究了統(tǒng)計學習中的回歸和譜聚類算法。主要貢獻可分為以下三個部分。
　　 首先,研究回歸問題。在樣本無界的背景下,我們考慮了最小二乘正則化學習算法。這部分的工作主要是利用積分算子方法,得到了很好的學習算法收斂階。主要結果依賴兩個重要假設,一個是關于無界輸出樣本的矩假設,另一個是與邊緣分布相關的函數空間假設。在適當的條件下,所得結果是與樣本有界情況下是一致的。
　　 其次,我們研究了譜聚類算法。類似的理論研

2、究近幾年已經有很多。我們的創(chuàng)新之處在于:我們在一個依賴樣本的有限維假設空間內考慮,這樣很自然的能夠引入統(tǒng)計上著名的LASSO思想,即施加正則化項-L1罰。由核函數張成的樣本依賴假設空間能夠為學習過程提供很好的靈活性?？墒峭瑫r也帶來了技術處理和理論分析上的困難。主要困難在于假設空間不僅依賴樣本,而且還有兩個約束條件,以前所有的處理技巧都不能直接拿來應用。本文從逼近論角度研究,通過合理的假設克服了上述困難。這里主要利用的是局部多項式再生公式

3、和構造化的處理手段。譜聚類算法的一致性主要取決于以下幾個條件:輸入空間的結構,未知的分布,核函數以及目標函數的光滑性。
　　 最后.我們以逼近論的角度去研究學習理論中的回歸問題。根據一些逼近論中的正定算子,設計了一系列非優(yōu)化的學習器。這樣的學習器是由一般的核函數經過放縮變換,然后作用于樣本點產生的。他們與經典的逼近算子的區(qū)別主要在于:傳統(tǒng)的逼近算子依賴于確定的節(jié)點或節(jié)點滿足很好的形狀,而學習器的樣本是隨機的。在回歸的背景下我們研