延遲反饋神經(jīng)網(wǎng)絡(luò)和兩層反饋神經(jīng)網(wǎng)絡(luò)的研究.pdf

1、反饋神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中最重要的類型之一，這種網(wǎng)絡(luò)的突出特點就是它具有聯(lián)想記憶的功能。反饋神經(jīng)網(wǎng)絡(luò)最重要的范例就是Hopfield網(wǎng)絡(luò)，它已經(jīng)被人們廣泛地研究過，然而Hopfield網(wǎng)絡(luò)和它的許多變種都存在著一些嚴重的缺陷，比如偽吸引子問題和低存儲率問題。這些缺陷嚴重地限制了它們的實際應(yīng)用能力。另外，Hopfield網(wǎng)絡(luò)是典型的非線性動力系統(tǒng)，在近十幾年來非線性動力學的發(fā)展中，人們認識到到了非線性動力系統(tǒng)不僅可能存在不動點解，而且也可能

2、存在大量的極限環(huán)或周期運動解。目前，絕大部分反饋神經(jīng)網(wǎng)絡(luò)都是利用系統(tǒng)的不動點作為信息存儲的載體，但這種方式?jīng)]有利用非線性動力系統(tǒng)大量存在的周期解，從某種意義上說是一種巨大的浪費。 最近，趙鴻教授提出了一套關(guān)于聯(lián)想記憶反饋神經(jīng)網(wǎng)絡(luò)的整體學習規(guī)則(蒙特卡羅優(yōu)化變異規(guī)則)[Phys．Rev．E．70，066137(2004)]。這種學習規(guī)則的基本思想就是：通過不斷地優(yōu)化變異隨機選擇的連接權(quán)矩陣元，從而使網(wǎng)絡(luò)在給定的訓練目標下達到整體最

3、優(yōu)。采用這種學習規(guī)則訓練的反饋網(wǎng)絡(luò)有許多非常有趣的動力學性質(zhì)。特別是，用這種學習規(guī)則訓練的反饋網(wǎng)絡(luò)存在三個動力學性質(zhì)非常不同的相區(qū)：混沌區(qū)、純記憶區(qū)和混合區(qū)。在純記憶區(qū)，偽吸引子被完全消除，因此它非常適合于聯(lián)想記憶的應(yīng)用。 本論文利用這套整體學習規(guī)則重點研究兩個問題。第一個問題是推廣蒙特卡羅優(yōu)化變異規(guī)則的方法，使它能直接應(yīng)用于延遲反饋神經(jīng)網(wǎng)絡(luò)的訓練，并詳細研究了用這種方法訓練出的網(wǎng)絡(luò)的動力學性能，如偽吸引子和存儲率等。第二個問題

4、是推廣蒙特卡羅優(yōu)化變異規(guī)則的方法，使它能直接應(yīng)用于以極限環(huán)作為信息存儲載體的網(wǎng)絡(luò)，并研究極限環(huán)吸引子網(wǎng)絡(luò)(包括多層反饋網(wǎng)絡(luò)和延遲反饋網(wǎng)絡(luò))的動力學行為、網(wǎng)絡(luò)性能，以及與對應(yīng)的不動點吸引子網(wǎng)絡(luò)的區(qū)別。 在本論文的第一部分，我們把蒙特卡羅優(yōu)化變異規(guī)則推廣到存儲記憶模式為不動點吸引子和極限環(huán)吸引子的延遲反饋網(wǎng)絡(luò)上，然后對這種延遲反饋網(wǎng)絡(luò)的存儲率和動力學性質(zhì)進行研究。我們的研究表明，采用蒙特卡羅優(yōu)化變異規(guī)則訓練的延遲反饋網(wǎng)絡(luò)，和采用關(guān)聯(lián)

5、學習規(guī)則訓練的延遲反饋網(wǎng)絡(luò)一樣，最大存儲率和延遲的長度成線性增長關(guān)系，但前者的數(shù)值遠遠高于后者；另外，蒙特卡羅優(yōu)化變異規(guī)則訓練的延遲反饋網(wǎng)絡(luò)的推廣能力也比關(guān)聯(lián)學習規(guī)則訓練的延遲反饋網(wǎng)絡(luò)要好；還有一個有趣的發(fā)現(xiàn)就是，在蒙特卡羅優(yōu)化變異規(guī)則訓練的延遲反饋網(wǎng)絡(luò)中，如果記憶極限環(huán)的長度足夠大，偽吸引子會完全消失，網(wǎng)絡(luò)不存在混合區(qū)。作為應(yīng)用例子，我們演示了用延遲反饋網(wǎng)絡(luò)存儲具有交叉點的多個極限環(huán)，從一小串數(shù)字中聯(lián)想起整個數(shù)字序列。 在本論