模型選擇的曲率方法研究.pdf

1、機(jī)器學(xué)習(xí)是人工智能的重要研究領(lǐng)域，模型選擇是機(jī)器學(xué)習(xí)的重要研究內(nèi)容。機(jī)器學(xué)習(xí)的許多實(shí)際問題中，需要從給定的有限觀測數(shù)據(jù)推測產(chǎn)生這些數(shù)據(jù)的真實(shí)模型，而可能的模型往往有多個(gè)，從眾多可能的模型中選擇與未知的真實(shí)模型最匹配的模型就是模型選擇。機(jī)器學(xué)習(xí)中的兩大核心問題泛化和表示都與模型選擇密切相關(guān)，因此模型選擇是解決機(jī)器學(xué)習(xí)核心問題的關(guān)鍵。
　　各種學(xué)習(xí)理論從不同角度研究模型選擇問題，如經(jīng)典的統(tǒng)計(jì)理論通過偏差-方差折中實(shí)現(xiàn)模型選擇;解決逆問

2、題的正則化方法使用正則化項(xiàng)懲罰復(fù)雜的模型;而統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論通過對(duì)給定數(shù)據(jù)逼近的精度和逼近模型的復(fù)雜性之間進(jìn)行折中來選擇泛化性能較好的模型;隨著微分幾何在統(tǒng)計(jì)機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展應(yīng)用，研究者使用幾何方法研究統(tǒng)計(jì)模型的機(jī)器學(xué)習(xí)問題。這一理論把統(tǒng)計(jì)模型看成嵌入在所有可能分布構(gòu)成的空間中的子流形，通過研究此子流形在空間的位置和形狀信息對(duì)模型的擬合度和復(fù)雜度作出評(píng)估。這些理論和方法的共同之處是都體現(xiàn)了奧卡姆剃刀原則——“如無必要，勿增實(shí)體”，即泛

3、化能力和模型在訓(xùn)練集的擬合度以及模型的復(fù)雜度相關(guān)。不同理論和方法的區(qū)別主要在于對(duì)復(fù)雜度的量化方法不同。
　　本文通過曲率方法研究統(tǒng)計(jì)模型的幾何性質(zhì)，對(duì)模型選擇中的幾個(gè)關(guān)鍵問題包括泛化能力和參數(shù)不變性的復(fù)雜度度量、統(tǒng)計(jì)模型的整體性質(zhì)及模型選擇的統(tǒng)一框架進(jìn)行研究。
　　首先分析論證在模型流形空間中模型局部曲率的參數(shù)不變性和幾何直觀性，提出基于Gauss-Kronecker曲率的衡量模型局部性質(zhì)的模型選擇準(zhǔn)則GKCIC;然后利用曲

4、率的進(jìn)一步運(yùn)算得到模型流形的拓?fù)湫畔⒑驼w幾何信息，提出用Euler-Poincare拓?fù)湫畔⒑饬拷y(tǒng)計(jì)模型的全局性質(zhì)的方法EPTIC;在此基礎(chǔ)上提出基于曲率方法的模型選擇統(tǒng)一框架，并結(jié)合知覺學(xué)習(xí)的特點(diǎn)，構(gòu)建更加系統(tǒng)有效的層次化“記憶-預(yù)測”知覺學(xué)習(xí)模型。本文以微分幾何為數(shù)學(xué)基礎(chǔ)，用曲率的方法對(duì)模型選擇及其在知覺學(xué)習(xí)中的應(yīng)用進(jìn)行了深入的研究，取得了一定的研究成果，并經(jīng)過實(shí)驗(yàn)驗(yàn)證，為進(jìn)一步的研究和應(yīng)用奠定了基礎(chǔ)。本文創(chuàng)造性的研究成果主要有:

5、
　　1.提出一種基于曲率的模型選擇準(zhǔn)則GKCIC(Gauss-Kronecker CurvatureInformation Criterion)。分析模型的泛化能力和其固有復(fù)雜度及其在訓(xùn)練集上的擬合度之間的關(guān)系;提出度量學(xué)習(xí)機(jī)器復(fù)雜度的Gauss-Kroneker內(nèi)蘊(yùn)曲率方法;給出基于參數(shù)估計(jì)量鄰域附近的解軌跡方法的曲率計(jì)算方法，并分析正則化條件;證明用于衡量模型泛化能力的未來殘差可以用曲率來表示;給出基于曲率的模型選擇準(zhǔn)則。該

6、方法具有堅(jiān)實(shí)的理論基礎(chǔ)、內(nèi)蘊(yùn)幾何性質(zhì)和參數(shù)表示不變性，揭示了模型選擇的內(nèi)在本質(zhì)，能直觀清晰地理解模型選擇的幾何意義;實(shí)驗(yàn)表明，其效果明顯優(yōu)于參數(shù)相關(guān)的方法。
　　2.提出一種基于拓?fù)湫畔⒑饬磕Ｐ土餍握w性質(zhì)的方法EPTIC(Euler-Poincare Topology Information Criterion)。根據(jù)曲率和度量的互生關(guān)系，以曲率作為局部信息的基本幾何構(gòu)成元;通過對(duì)曲率的積分，得到統(tǒng)計(jì)流形的拓?fù)洳蛔兞縀uler-

7、Poincare示性數(shù)，作為統(tǒng)計(jì)流形的整體拓?fù)洳蛔兞?通過Gauss-Bonnet定理和Minkowski積分公式，得到體積等反映流形整體性質(zhì)的拓?fù)浜蛶缀瘟?給出使用流形整體性質(zhì)的模型選擇方法，使模型具有全局的泛化能力;分析模型流形的拓?fù)湫再|(zhì)和全局幾何性質(zhì)的重要意義，給出從局部性質(zhì)得到整體性質(zhì)的計(jì)算方法，實(shí)驗(yàn)表明其性能優(yōu)于同類算法。
　　3.提出基于幾何曲率方法的模型選擇統(tǒng)一框架。綜合考慮統(tǒng)計(jì)模型的局部性質(zhì)和整體性質(zhì)，在前兩章工作

8、的基礎(chǔ)上提出基于幾何曲率方法的模型選擇統(tǒng)一框架;討論基于曲率的方法與統(tǒng)計(jì)學(xué)習(xí)理論之間的關(guān)系;在此統(tǒng)一框架下，結(jié)合知覺學(xué)習(xí)和認(rèn)知心理學(xué)的研究成果，構(gòu)建一種基于曲率和拓?fù)湫畔⒌膶哟位X學(xué)習(xí)計(jì)算模型。該模型通過自底向上的過程對(duì)局部信息進(jìn)行抽象，得到全局拓?fù)浜蛶缀涡再|(zhì)，作為整體先驗(yàn)知識(shí);通過自頂向下的過程對(duì)輸入信息進(jìn)行預(yù)測、分析、比較，修正先驗(yàn)知識(shí)，指導(dǎo)下一次的預(yù)測;結(jié)合自底向上和自頂向下過程，使模型具有局部的特定性和全局的泛化能力。該框架綜