神經元傳輸函數(shù)和網絡噪音對聯(lián)想記憶反饋網絡動力學特性的影響.pdf

1、反饋神經網絡的突出特點是具有聯(lián)想記憶功能，易于硬件實現(xiàn)，因此在諸多領域得到非常廣泛的應用。同時，反饋神經網絡作為一類典型的高維非線性動力學系統(tǒng)，引起了非線性動力學領域的科研工作者的高度關注。一方面，我們可以應用非線性動力學近年來的研究成果理解網絡的特性、提高網絡的功能，另一方面，反饋網絡本身具有豐富的動力學特性和現(xiàn)象，因而為這一領域提供了一個研究高維動力學系統(tǒng)復雜行為的典型模型。 本學位論文從反饋神經網絡的吸引子所對應的局域場分

2、布入手來研究網絡結構與網絡性能之間的關聯(lián)性，表明網絡的特性主要決定于記憶模式吸引子的局域場分布，同時也會受到神經元傳輸函數(shù)的影響，而傳輸函數(shù)的影響效果又和局域場分布密切相關。本文重點研究兩種反饋網絡，一類是基于Hebb規(guī)則設計的Hopfield神經網絡，另一類是基于最近提出的一套設計神經網絡的整體規(guī)則[Zhao，Phys．Rev．E，70，066137(2004)]。兩種網絡中，記憶模式吸引子的局域場和偽記憶模式吸引子的局域場分布在不同

3、的區(qū)域，但重疊程度各不相同，根據(jù)這一現(xiàn)象，提出了傳輸函數(shù)以及隨機噪音影響網絡性能的機制。研究結果表明，連續(xù)傳輸函數(shù)的應用的確如以前的研究者發(fā)現(xiàn)的那樣可以在一定程度上消除網絡的偽吸引子，但是消除并不徹底；消除偽吸引子的根本方法還在于利用整體設計方法控制記憶模式吸引子對應的局域場的分布，只要分布合適，偽吸引子就可以完全不出現(xiàn)。一般認為連續(xù)傳輸函數(shù)中增益因子的作用和溫度，也就是和網絡中的隨機噪音具有一定的相似性，有些研究者雖然也指出了兩者的不

4、同，但是詳細的分析和機制并未搞清楚。本論文的另一個重點是詳細分析增益因子和噪音起作用的方式，搞清楚了它們的相同和不同之處，并因此指出如何更好地利用噪音改善網絡的性能。同時，為了深入理解網絡結構與網絡性能的聯(lián)系，本文也研究了網絡權值矩陣本征值譜在特定的設計規(guī)則下隨設計參數(shù)的變化情況，比較了本征值譜與隨機矩陣本征值譜的偏離。本文各章安排如下： 第一章簡要介紹了神經網絡的研究背景，包括神經網絡的起源、發(fā)展、類型，以及對神經網絡理論研究

5、作出顯著貢獻的一些物理學家的工作，如Gardner， Little等人的工作做了簡要介紹。 第二章詳細介紹了兩種具有聯(lián)想記憶的反饋神經網絡，一種是著名的Hopfield網絡，另外一種是最近由趙鴻教授提出的整體優(yōu)化網絡，介紹了兩種方法的具體實現(xiàn)算法以及這兩種網絡的一些主要特性和動力學行為。 第三章研究連續(xù)傳輸函數(shù)對聯(lián)想記憶反饋神經網絡功能的影響。給出了不同規(guī)則設計下記憶模式吸引子和偽吸引子對應的局域場分布，提出局域場分布特

6、征決定神經元傳輸函數(shù)的作用，給出傳輸函數(shù)影響網絡性能和動力學行為的機制。 第四章研究噪音對聯(lián)想記憶神經網絡功能的影響。在神經網絡動力學演化方程中加入噪音來考察網絡的動力學特性以及功能的改善，說明噪音的作用取決于兩種吸引子也就是記憶模式吸引子和偽吸引子對應的局域場分布，同時給出如何利用噪音提高和改善網絡的性能。 第五章研究神經網絡中的本征值譜。由于加入設計信息，使得網絡的權值矩陣對隨機矩陣有偏離，因此其本征值譜也表現(xiàn)出一些