人工神經(jīng)網(wǎng)絡(luò)知識增殖性研究.pdf

1、“災(zāi)難性遺忘”(Catastrophicforgetting)是指認知或?qū)W習(xí)系統(tǒng)在學(xué)習(xí)新事物時完全破壞或清除其已有知識的現(xiàn)象。自然的認知系統(tǒng)，特別是人腦，具有漸進學(xué)習(xí)的能力，能夠在保有已有知識的情況下學(xué)習(xí)新的知識，極少出現(xiàn)“災(zāi)難性遺忘”現(xiàn)象。這種以漸進方式學(xué)習(xí)獲取知識能力稱為增殖學(xué)習(xí)能力，它使得學(xué)習(xí)系統(tǒng)能夠通過不斷的學(xué)習(xí)增強其解決問題的能力。遺憾的是，人工神經(jīng)網(wǎng)絡(luò)沒有增殖學(xué)習(xí)的能力，“災(zāi)難性遺忘”是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中存在的普遍現(xiàn)象存在的

2、。如何賦予人工神經(jīng)網(wǎng)絡(luò)增殖學(xué)習(xí)的能力，是人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中一個極具挑戰(zhàn)性的課題，具有很高的研究價值和現(xiàn)實意義。對人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生“災(zāi)難性遺忘”現(xiàn)象的分析表明，連接權(quán)形式表示的知識的分布式存儲是導(dǎo)致該現(xiàn)象的根本原因。受網(wǎng)絡(luò)復(fù)雜性和知識容量的限制，單網(wǎng)絡(luò)改造的增量學(xué)習(xí)方法無法從根本上解決問題。因此，本文提出了神經(jīng)網(wǎng)絡(luò)的增殖學(xué)習(xí)框架及對應(yīng)的自治神經(jīng)網(wǎng)絡(luò)模型，以知識重用為手段，利用多個有限推廣的自治網(wǎng)絡(luò)組成的多網(wǎng)絡(luò)系統(tǒng)實現(xiàn)增殖學(xué)習(xí)的目的。主要工

3、作如下： 1.分析了“災(zāi)難性遺忘”現(xiàn)象的產(chǎn)生原因，在網(wǎng)絡(luò)知識容量和推廣能力分析的基礎(chǔ)上，提出了人工神經(jīng)網(wǎng)絡(luò)的增殖學(xué)習(xí)框架，利用多個有限推廣的網(wǎng)絡(luò)對樣本集進行學(xué)習(xí)，避免了單網(wǎng)絡(luò)學(xué)習(xí)時的“災(zāi)難性遺忘”現(xiàn)象。多網(wǎng)絡(luò)集成形成的整體重用其組成個體具有的知識，以知識積累和繼承的方式達到增殖學(xué)習(xí)的目的。 2.研究了神經(jīng)網(wǎng)絡(luò)的輸出表示方式，提出了平衡糾錯編碼的自治神經(jīng)網(wǎng)絡(luò)模型，根據(jù)輸出潔凈度和編碼距離準則產(chǎn)生輸出可靠性評估信息，并在此基

4、礎(chǔ)上做出最終決策。并針對集成環(huán)境提出了集成可信度評估準則，對單網(wǎng)絡(luò)可信度評估的不足之處進行了改進。實驗結(jié)果表明，該自治網(wǎng)絡(luò)具有較高的可靠性，集成可信度評估準則能夠有效提高網(wǎng)絡(luò)的推廣性。 3.根據(jù)網(wǎng)絡(luò)推廣行為中內(nèi)插和外推的可靠性差異，提出了一種基于覆蓋技術(shù)的自治雙網(wǎng)絡(luò)模型，通過對網(wǎng)絡(luò)推廣行為的區(qū)分實現(xiàn)網(wǎng)絡(luò)的自治性。該網(wǎng)絡(luò)模型由主網(wǎng)絡(luò)和覆蓋網(wǎng)絡(luò)組成，其中主網(wǎng)絡(luò)學(xué)習(xí)樣本集與學(xué)習(xí)目標間的映射關(guān)系，覆蓋網(wǎng)絡(luò)則通過對樣本集空間分布關(guān)系的建模

5、評估主網(wǎng)絡(luò)的推廣可靠性，兩個網(wǎng)絡(luò)模塊相互補充，共享同一樣本集。針對覆蓋集對覆蓋中心選擇的敏感性提出了聚類引導(dǎo)覆蓋中心選擇及多覆蓋集集成的解決辦法，實驗顯示上述方法能夠有效的改善整體的自治性。 自治網(wǎng)絡(luò)解決了多網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)中網(wǎng)絡(luò)個體選擇的難題，由自治網(wǎng)絡(luò)構(gòu)造的多網(wǎng)絡(luò)系統(tǒng)不需要集中式的信令分配機制。對多個自治網(wǎng)絡(luò)組成的學(xué)習(xí)系統(tǒng)的增殖學(xué)習(xí)能力，分別通過分類和回歸問題進行了實驗驗證，取得了較為滿意的結(jié)果。結(jié)果表明，利用自治網(wǎng)絡(luò)個體構(gòu)造具