學(xué)習(xí)理論中的加權(quán)回歸學(xué)習(xí)算法.pdf

1、學(xué)習(xí)理論作為逼近論和概率統(tǒng)計理論等的交叉學(xué)科，主要研究學(xué)習(xí)問題。學(xué)習(xí)問題就是利用樣本數(shù)據(jù)從給定函數(shù)集尋找待求的函數(shù)依賴關(guān)系的問題。其核心問題之一是分析處理學(xué)習(xí)問題的各種算法（或方法）的泛化性能，其中加權(quán)回歸學(xué)習(xí)算法是處理該問題的常用方法之一。加權(quán)回歸學(xué)習(xí)算法，即尋求使得加權(quán)誤差平方和最小的回歸函數(shù)的估計子。
　　移動最小二乘（MLS）法是用于數(shù)值分析、統(tǒng)計學(xué)、數(shù)據(jù)光滑及其他領(lǐng)域的一種逼近方法。其優(yōu)點是有很好的數(shù)學(xué)理論支持，因為基于

2、最小二乘法，所以數(shù)值精度較高。對于每個固定的點，移動最小二乘法即為通常的最小二乘法。周定軒等已用該方法研究了學(xué)習(xí)理論中的回歸問題。
　　本文用實分析、調(diào)和分析、泛函分析、逼近論等理論研究了學(xué)習(xí)理論中的加權(quán)回歸學(xué)習(xí)算法。首先，將移動最小二乘（MLS）法推廣到移動最小p乘（MLP）法，得到Lp(1≤p≤∞)框架下學(xué)習(xí)理論中加權(quán)回歸問題的一些結(jié)果，從而為研究Lp(1≤p≤∞)框架下學(xué)習(xí)算法的泛化性能提供了理論基礎(chǔ)。其次，估計了加權(quán)多元回