神經(jīng)元傳輸函數(shù)和網(wǎng)絡(luò)噪音對聯(lián)想記憶反饋網(wǎng)絡(luò)動力學(xué)特性的影響.pdf

1、反饋神經(jīng)網(wǎng)絡(luò)的突出特點是具有聯(lián)想記憶功能，易于硬件實現(xiàn)，因此在諸多領(lǐng)域得到非常廣泛的應(yīng)用。同時，反饋神經(jīng)網(wǎng)絡(luò)作為一類典型的高維非線性動力學(xué)系統(tǒng)，引起了非線性動力學(xué)領(lǐng)域的科研工作者的高度關(guān)注。一方面，我們可以應(yīng)用非線性動力學(xué)近年來的研究成果理解網(wǎng)絡(luò)的特性、提高網(wǎng)絡(luò)的功能，另一方面，反饋網(wǎng)絡(luò)本身具有豐富的動力學(xué)特性和現(xiàn)象，因而為這一領(lǐng)域提供了一個研究高維動力學(xué)系統(tǒng)復(fù)雜行為的典型模型。 本學(xué)位論文從反饋神經(jīng)網(wǎng)絡(luò)的吸引子所對應(yīng)的局域場分

2、布入手來研究網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)性能之間的關(guān)聯(lián)性，表明網(wǎng)絡(luò)的特性主要決定于記憶模式吸引子的局域場分布，同時也會受到神經(jīng)元傳輸函數(shù)的影響，而傳輸函數(shù)的影響效果又和局域場分布密切相關(guān)。本文重點研究兩種反饋網(wǎng)絡(luò)，一類是基于Hebb規(guī)則設(shè)計的Hopfield神經(jīng)網(wǎng)絡(luò)，另一類是基于最近提出的一套設(shè)計神經(jīng)網(wǎng)絡(luò)的整體規(guī)則[Zhao，Phys．Rev．E，70，066137(2004)]。兩種網(wǎng)絡(luò)中，記憶模式吸引子的局域場和偽記憶模式吸引子的局域場分布在不同

3、的區(qū)域，但重疊程度各不相同，根據(jù)這一現(xiàn)象，提出了傳輸函數(shù)以及隨機噪音影響網(wǎng)絡(luò)性能的機制。研究結(jié)果表明，連續(xù)傳輸函數(shù)的應(yīng)用的確如以前的研究者發(fā)現(xiàn)的那樣可以在一定程度上消除網(wǎng)絡(luò)的偽吸引子，但是消除并不徹底；消除偽吸引子的根本方法還在于利用整體設(shè)計方法控制記憶模式吸引子對應(yīng)的局域場的分布，只要分布合適，偽吸引子就可以完全不出現(xiàn)。一般認為連續(xù)傳輸函數(shù)中增益因子的作用和溫度，也就是和網(wǎng)絡(luò)中的隨機噪音具有一定的相似性，有些研究者雖然也指出了兩者的不

4、同，但是詳細的分析和機制并未搞清楚。本論文的另一個重點是詳細分析增益因子和噪音起作用的方式，搞清楚了它們的相同和不同之處，并因此指出如何更好地利用噪音改善網(wǎng)絡(luò)的性能。同時，為了深入理解網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)性能的聯(lián)系，本文也研究了網(wǎng)絡(luò)權(quán)值矩陣本征值譜在特定的設(shè)計規(guī)則下隨設(shè)計參數(shù)的變化情況，比較了本征值譜與隨機矩陣本征值譜的偏離。本文各章安排如下： 第一章簡要介紹了神經(jīng)網(wǎng)絡(luò)的研究背景，包括神經(jīng)網(wǎng)絡(luò)的起源、發(fā)展、類型，以及對神經(jīng)網(wǎng)絡(luò)理論研究

5、作出顯著貢獻的一些物理學(xué)家的工作，如Gardner， Little等人的工作做了簡要介紹。 第二章詳細介紹了兩種具有聯(lián)想記憶的反饋神經(jīng)網(wǎng)絡(luò)，一種是著名的Hopfield網(wǎng)絡(luò)，另外一種是最近由趙鴻教授提出的整體優(yōu)化網(wǎng)絡(luò)，介紹了兩種方法的具體實現(xiàn)算法以及這兩種網(wǎng)絡(luò)的一些主要特性和動力學(xué)行為。 第三章研究連續(xù)傳輸函數(shù)對聯(lián)想記憶反饋神經(jīng)網(wǎng)絡(luò)功能的影響。給出了不同規(guī)則設(shè)計下記憶模式吸引子和偽吸引子對應(yīng)的局域場分布，提出局域場分布特

6、征決定神經(jīng)元傳輸函數(shù)的作用，給出傳輸函數(shù)影響網(wǎng)絡(luò)性能和動力學(xué)行為的機制。 第四章研究噪音對聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)功能的影響。在神經(jīng)網(wǎng)絡(luò)動力學(xué)演化方程中加入噪音來考察網(wǎng)絡(luò)的動力學(xué)特性以及功能的改善，說明噪音的作用取決于兩種吸引子也就是記憶模式吸引子和偽吸引子對應(yīng)的局域場分布，同時給出如何利用噪音提高和改善網(wǎng)絡(luò)的性能。 第五章研究神經(jīng)網(wǎng)絡(luò)中的本征值譜。由于加入設(shè)計信息，使得網(wǎng)絡(luò)的權(quán)值矩陣對隨機矩陣有偏離，因此其本征值譜也表現(xiàn)出一些