人工神經(jīng)網(wǎng)絡(luò)知識(shí)增殖性研究.pdf

1、“災(zāi)難性遺忘”(Catastrophicforgetting)是指認(rèn)知或?qū)W習(xí)系統(tǒng)在學(xué)習(xí)新事物時(shí)完全破壞或清除其已有知識(shí)的現(xiàn)象。自然的認(rèn)知系統(tǒng)，特別是人腦，具有漸進(jìn)學(xué)習(xí)的能力，能夠在保有已有知識(shí)的情況下學(xué)習(xí)新的知識(shí)，極少出現(xiàn)“災(zāi)難性遺忘”現(xiàn)象。這種以漸進(jìn)方式學(xué)習(xí)獲取知識(shí)能力稱為增殖學(xué)習(xí)能力，它使得學(xué)習(xí)系統(tǒng)能夠通過不斷的學(xué)習(xí)增強(qiáng)其解決問題的能力。遺憾的是，人工神經(jīng)網(wǎng)絡(luò)沒有增殖學(xué)習(xí)的能力，“災(zāi)難性遺忘”是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中存在的普遍現(xiàn)象存在的

2、。如何賦予人工神經(jīng)網(wǎng)絡(luò)增殖學(xué)習(xí)的能力，是人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中一個(gè)極具挑戰(zhàn)性的課題，具有很高的研究?jī)r(jià)值和現(xiàn)實(shí)意義。對(duì)人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生“災(zāi)難性遺忘”現(xiàn)象的分析表明，連接權(quán)形式表示的知識(shí)的分布式存儲(chǔ)是導(dǎo)致該現(xiàn)象的根本原因。受網(wǎng)絡(luò)復(fù)雜性和知識(shí)容量的限制，單網(wǎng)絡(luò)改造的增量學(xué)習(xí)方法無法從根本上解決問題。因此，本文提出了神經(jīng)網(wǎng)絡(luò)的增殖學(xué)習(xí)框架及對(duì)應(yīng)的自治神經(jīng)網(wǎng)絡(luò)模型，以知識(shí)重用為手段，利用多個(gè)有限推廣的自治網(wǎng)絡(luò)組成的多網(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn)增殖學(xué)習(xí)的目的。主要工

3、作如下： 1.分析了“災(zāi)難性遺忘”現(xiàn)象的產(chǎn)生原因，在網(wǎng)絡(luò)知識(shí)容量和推廣能力分析的基礎(chǔ)上，提出了人工神經(jīng)網(wǎng)絡(luò)的增殖學(xué)習(xí)框架，利用多個(gè)有限推廣的網(wǎng)絡(luò)對(duì)樣本集進(jìn)行學(xué)習(xí)，避免了單網(wǎng)絡(luò)學(xué)習(xí)時(shí)的“災(zāi)難性遺忘”現(xiàn)象。多網(wǎng)絡(luò)集成形成的整體重用其組成個(gè)體具有的知識(shí)，以知識(shí)積累和繼承的方式達(dá)到增殖學(xué)習(xí)的目的。 2.研究了神經(jīng)網(wǎng)絡(luò)的輸出表示方式，提出了平衡糾錯(cuò)編碼的自治神經(jīng)網(wǎng)絡(luò)模型，根據(jù)輸出潔凈度和編碼距離準(zhǔn)則產(chǎn)生輸出可靠性評(píng)估信息，并在此基

4、礎(chǔ)上做出最終決策。并針對(duì)集成環(huán)境提出了集成可信度評(píng)估準(zhǔn)則，對(duì)單網(wǎng)絡(luò)可信度評(píng)估的不足之處進(jìn)行了改進(jìn)。實(shí)驗(yàn)結(jié)果表明，該自治網(wǎng)絡(luò)具有較高的可靠性，集成可信度評(píng)估準(zhǔn)則能夠有效提高網(wǎng)絡(luò)的推廣性。 3.根據(jù)網(wǎng)絡(luò)推廣行為中內(nèi)插和外推的可靠性差異，提出了一種基于覆蓋技術(shù)的自治雙網(wǎng)絡(luò)模型，通過對(duì)網(wǎng)絡(luò)推廣行為的區(qū)分實(shí)現(xiàn)網(wǎng)絡(luò)的自治性。該網(wǎng)絡(luò)模型由主網(wǎng)絡(luò)和覆蓋網(wǎng)絡(luò)組成，其中主網(wǎng)絡(luò)學(xué)習(xí)樣本集與學(xué)習(xí)目標(biāo)間的映射關(guān)系，覆蓋網(wǎng)絡(luò)則通過對(duì)樣本集空間分布關(guān)系的建模

5、評(píng)估主網(wǎng)絡(luò)的推廣可靠性，兩個(gè)網(wǎng)絡(luò)模塊相互補(bǔ)充，共享同一樣本集。針對(duì)覆蓋集對(duì)覆蓋中心選擇的敏感性提出了聚類引導(dǎo)覆蓋中心選擇及多覆蓋集集成的解決辦法，實(shí)驗(yàn)顯示上述方法能夠有效的改善整體的自治性。 自治網(wǎng)絡(luò)解決了多網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)中網(wǎng)絡(luò)個(gè)體選擇的難題，由自治網(wǎng)絡(luò)構(gòu)造的多網(wǎng)絡(luò)系統(tǒng)不需要集中式的信令分配機(jī)制。對(duì)多個(gè)自治網(wǎng)絡(luò)組成的學(xué)習(xí)系統(tǒng)的增殖學(xué)習(xí)能力，分別通過分類和回歸問題進(jìn)行了實(shí)驗(yàn)驗(yàn)證，取得了較為滿意的結(jié)果。結(jié)果表明，利用自治網(wǎng)絡(luò)個(gè)體構(gòu)造具