委員會(huì)機(jī)器的研究.pdf

1、神經(jīng)網(wǎng)絡(luò)的研究自從上世紀(jì)80年代起引起了人們的高度重視，其應(yīng)用范圍廣泛，涉及模式識(shí)別、函數(shù)逼近、智能控制、數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)等諸多領(lǐng)域，取得了可喜的成績(jī)。但在應(yīng)用中，尤其在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面還面臨著一系列的問(wèn)題，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)、過(guò)學(xué)習(xí)與欠學(xué)習(xí)、知識(shí)增量學(xué)習(xí)等。這些問(wèn)題嚴(yán)重影響著神經(jīng)網(wǎng)絡(luò)的整體性能。如何解決神經(jīng)網(wǎng)絡(luò)面臨的問(wèn)題，建立有效的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)制是神經(jīng)網(wǎng)絡(luò)應(yīng)用迫切需要解決的課題。 基于微分幾何、信息論、統(tǒng)計(jì)學(xué)的信息幾何理

2、論，以及將自然界中的進(jìn)化過(guò)程引入工程研究領(lǐng)域以解決工程中優(yōu)化問(wèn)題的進(jìn)化計(jì)算理論是研究非結(jié)構(gòu)化、非線性空間更合理的方法和手段。以應(yīng)用這些理論為代表的整體結(jié)構(gòu)的研究是人工神經(jīng)網(wǎng)絡(luò)發(fā)展的重要方向和突破點(diǎn)之一。 本文主要以信息幾何理論和進(jìn)化計(jì)算理論為基礎(chǔ)，對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的幾個(gè)關(guān)鍵問(wèn)題如模型選擇、學(xué)習(xí)準(zhǔn)則及增量學(xué)習(xí)問(wèn)題做了研究，提出了基于廣義KL距離和幾何曲率的模型選擇準(zhǔn)則；給出了一個(gè)一般意義上的后驗(yàn)委員會(huì)機(jī)器體系結(jié)構(gòu)及對(duì)應(yīng)的學(xué)習(xí)準(zhǔn)則；

3、提出了具有增量學(xué)習(xí)能力和對(duì)個(gè)體進(jìn)行優(yōu)化選擇的混合委員會(huì)機(jī)器構(gòu)造算法；最后利用進(jìn)化計(jì)算、Boosting算法和負(fù)相關(guān)學(xué)習(xí)來(lái)構(gòu)造委員會(huì)機(jī)器的優(yōu)化算法。 主要?jiǎng)?chuàng)新工作有： 1、提出了一種基于流形上的廣義KL距離和幾何曲率的模型選擇準(zhǔn)則KLCIC，并給出了理論分析與實(shí)驗(yàn)驗(yàn)證。該準(zhǔn)則利用模型流形的內(nèi)在幾何特性及模型流形與數(shù)據(jù)流形的幾何位置關(guān)系來(lái)評(píng)價(jià)模型的擬合度，而用模型的幾何曲率來(lái)衡量模型的固有復(fù)雜度，它們具有參數(shù)表示不變性的特點(diǎn)

4、，賦予了復(fù)雜度與擬合度清晰的幾何意義，為基于數(shù)據(jù)的模型選擇提供了理論上的支持，實(shí)驗(yàn)結(jié)果也證實(shí)了準(zhǔn)則的可行性與有效性。 2、分析委員會(huì)機(jī)器學(xué)習(xí)準(zhǔn)則的選擇與逼近、自適應(yīng)性和競(jìng)爭(zhēng)性的緊密關(guān)系，通過(guò)最小化后驗(yàn)分布間的KL距離，給出了一個(gè)一般意義上的后驗(yàn)委員會(huì)機(jī)器體系結(jié)構(gòu)及對(duì)應(yīng)的學(xué)習(xí)準(zhǔn)則。實(shí)驗(yàn)結(jié)果證明了方法的可行性與有效性。 3、在深入分析Learn++的基礎(chǔ)上，盡可能地在不使用原有數(shù)據(jù)樣本的情況下，通過(guò)嵌入自生長(zhǎng)的動(dòng)態(tài)委員會(huì)機(jī)器