基于數(shù)據(jù)的學習：埃爾米特算法與法向量估計.pdf

1、在本文中，我們主要研究學習理論中關于回歸，流形學習和數(shù)據(jù)分析的一些算法。我們將詳細地討論這些算法的設計，并從逼近論的觀點討論其漸近性質(zhì)。
　　 論文的第一部分，在再生核Hilbert空間中最小二乘回歸正則化算法的框架下，我們研究了基于梯度樣本數(shù)據(jù)的學習問題。在表示定理的幫助下，算法的求解歸結(jié)為求解一個線性方程組，系數(shù)矩陣中涉及核函數(shù)值的Gramian矩陣以及核函數(shù)偏導數(shù)值的Hessian矩陣。額外的關于梯度的樣本值可以提高算法的

2、學習性能。通過運用采樣算子分析樣本誤差和Sobolev空間中的積分算子分析逼近誤差，我們給出該算法的誤差分析。
　　 法向量估計是處理點云數(shù)據(jù)以及計算機圖形學中曲面重構(gòu)的重要研究課題。在論文的第二部分，我們考慮歐式空間中余維為1的子流形上的法向量估計問題。由于流形是未知的，我們要利用在流形上隨機采樣得到的樣本點來估計法向量。我們提出了一種由核函數(shù)構(gòu)造的學習算法，它實際上是無監(jiān)督形式的梯度學習。算法的求解歸結(jié)為求解一個線性代數(shù)的特

3、征向量問題。在真實的法向量和采樣分布滿足一定的條件時，我們得到了關于該算法的誤差估計。
　　 在論文的最后一部分，我們主要討論樣本依賴假設空間中的正則化回歸問題。對于給定的一組樣本數(shù)據(jù)，樣本依賴假設空間中的函數(shù)定義為由核函數(shù)和樣本數(shù)據(jù)產(chǎn)生的一族基函數(shù)的線性組合，因此空間中的函數(shù)完全取決于其線性組合的系數(shù)。這種核函數(shù)構(gòu)造的假設空間其依賴樣本的特質(zhì)給學習算法帶來很大的靈活性和自適應性。在這種空間里討論的正則化算法與傳統(tǒng)的再生核Hil

4、bert空間中的算法有本質(zhì)的不同：我們所考慮的核函數(shù)不是對稱的，從而不具有半正定性，正則化子作為作用在該空間中函數(shù)上的泛函，被取為其相應的組合系數(shù)的范數(shù)的次冪。這種不同增加了誤差分析的困難。
　　 具體來說，我們主要在本文中研究了兩種情況：p= 1和p= 2。當 p= 1時，l1正則化子經(jīng)常會使解向量具有稀疏性，從而極大提高算法運行的效率。
　　 當p= 2時，相應的算法是線性的并且可以通過一個線性方程組來求解。這兩種算