14991.基于矩陣分析的核方法近似模型選擇

1、基基基于于于矩矩矩陣陣陣分分分析析析的的的核核核方方方法法法近近近似似似模模模型型型選選選擇擇擇ApproximateModelionfKernelMethodsviaMatrixAnalysis一級(jí)學(xué)科：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)科專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)作者姓名：丁立中指導(dǎo)教師：廖士中教授天津大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院二零一五年十二月摘要核方法模型選擇是核方法理論研究和實(shí)際應(yīng)用的重要問題。已有模型選擇準(zhǔn)則通常難以計(jì)算或計(jì)算復(fù)雜度高。核矩陣包含核函

2、數(shù)在所有樣本點(diǎn)上的全部信息。因此，本文基于矩陣分析研究核方法近似模型選擇的有效途徑。具體內(nèi)容如下：1.發(fā)展近似模型選擇理論，提出近似一致性的概念，研究近似模型選擇準(zhǔn)則向精確準(zhǔn)則的收斂條件和收斂速度。以Nystrom方法和多層循環(huán)矩陣近似為例，分析其在誤差最小化準(zhǔn)則下的近似一致性。2.提出基于多層循環(huán)矩陣的近似模型選擇準(zhǔn)則。首先，基于RKHS球覆蓋數(shù)泛化界定義模型選擇準(zhǔn)則，利用多層循環(huán)矩陣近似核矩陣提出具有對(duì)數(shù)線性復(fù)雜度的近似準(zhǔn)則并證明近

3、似一致性。然后，利用核函數(shù)和樣本構(gòu)造一類新的多層循環(huán)矩陣，基于新多層循環(huán)矩陣的特征系統(tǒng)提出近似模型選擇準(zhǔn)則，理論證明近似準(zhǔn)則與特征空間正負(fù)類平均差異準(zhǔn)則的近似一致性。3.提出近似的自動(dòng)核選擇方法，分別針對(duì)組合系數(shù)L1正則化和L2正則化，利用多層循環(huán)矩陣組合高效優(yōu)化組合系數(shù)，理論證明基于多層循環(huán)矩陣組合的近似假設(shè)與假設(shè)空間中最優(yōu)假設(shè)的一致性。整體而言，本文基于矩陣分析，發(fā)展了近似模型選擇理論，提出了高效且理論堅(jiān)實(shí)的近似模型選擇準(zhǔn)則和方法。