關于模型選擇問題的子空間信息準則.pdf

1、近年來，模型選擇問題引起人們很大的興趣.在監(jiān)督學習中，模型選擇的好壞直接影響學習算法的推廣能力.如果所選擇的模型過于復雜，就會出現(xiàn)過學習(overfitting)現(xiàn)象；相反，如果模型過于簡單，則會出現(xiàn)欠學習(underfitting)現(xiàn)象. 對于小規(guī)模樣本集(實際問題總是小規(guī)模樣本集的問題)，監(jiān)督學習的目標是在給定的函數(shù)集中挑選一個最優(yōu)的逼近函數(shù)，從而最小化推廣誤差.對此，Vapnik在文獻[53]中提出了選擇這樣函數(shù)集的原則，

2、即結構風險最小化(SRM)原則.該原則為給定函數(shù)集提供一個容許結構，然后在整個給定的結構元素上找到最小化保證風險的函數(shù). 上世紀下半葉，人們從各種觀點出發(fā)，提出了很多模型選擇原則.其中以Akaike等人提出的兩種模型選擇原則較為流行，Akaike信息準則(AIC)[17]和Bayesian信息準則(BIC)[18].后來，從泛函分析的角度出發(fā)，Sugiyama和Ogawa又提出了一種新的模型選擇準則，即子空間信息準則(SIC)[

3、27].SIC所考慮的訓練樣本是基于[0，1]上樣本點的一個均勻分布，零均值和不同方差值的正態(tài)分布噪聲得到的.它用所選取的函數(shù)與真實函數(shù)之間的均方差來估計性能.SIC的優(yōu)勢在于它是推廣誤差的一種無偏估計，實驗證明依SIC思想選擇的模型得到的學習算法具有很好的推廣能力. 本文分五個部分討論了模型選擇的子空間信息準則問題. 第一部分，主要介紹了學習問題及本文的研究背景. 第二部分，首先介紹模型的概念，接著回顧一些經(jīng)典

4、的模型選擇原則，主要介紹的有三個：結構風險最小化原則(SRM)，Akaike信息準則(AIC)和Bayesian信息準則(BIC). 第三部分，討論本文的主要內(nèi)容，即解決模型選擇問題的子空間信息準則(SIC).在介紹SIC的定義以后，把該方法推廣到無限維的假設空間上；并且還對SIC進行擾動分析，最后對SIC的一些不足之處進行改善，從而提高該方法的精度. 第四部分，我們將SIC應用到學習問題的一些重要模型中，這其中包括在再