hopfield神經(jīng)絡(luò)模型與學(xué)習(xí)算法ppt

1、Hopfield神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法,2024/3/25,2,概述,Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個重要的里程碑。由美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。,Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計算難題(優(yōu)化問題)。,Hop

2、field網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。,Hello,I’m John Hopfield,2024/3/25,3,2.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)模型表示法一,,2024/3/25,4,2.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)模型表示法二,

3、,2024/3/25,5,2.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),相關(guān)參數(shù)說明任意神經(jīng)元 與 間的突觸權(quán)值 為，神經(jīng)元之間連接是對稱的，神經(jīng)元自身無連接. 每個神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號經(jīng)過其他神經(jīng)元又有可能反饋給自己 設(shè)Hopfield網(wǎng)絡(luò)中有n個神經(jīng)元，其中任意神經(jīng)元的輸入用 表示，輸出 用表示，它們都是時間的函數(shù)，其中 也稱為神經(jīng)元在時刻 的狀態(tài)。,,,,,,,,,2024/3/25,6,2.9

4、.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),激勵函數(shù),,2024/3/25,7,2.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式 在任—時刻，只有某—神經(jīng)元 (隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式 在任一時刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時改變。,2024/3/25,8,2.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),串行(異步)工作方式

5、運(yùn)行步驟第一步 對網(wǎng)絡(luò)進(jìn)行初始化；第二步 從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元；第三步 按式(2-5)求出該神經(jīng)元i的輸出；第四步 按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；第五步 判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。,2024/3/25,9,2.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時刻以后，狀態(tài)不再發(fā)生變化

6、，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對稱連接，即；神經(jīng)元自身無連接 能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最后達(dá)到穩(wěn)定,,2024/3/25,10,2.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量,,,Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會趨于穩(wěn)定狀態(tài) 。,2024/3/25,11,2.9.2 連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò),,網(wǎng)絡(luò)模型,2024/3/25,12,2.9.2 連續(xù)H

7、opfield 神經(jīng)網(wǎng)絡(luò),穩(wěn)定性分析將下式代入得：,,,,,,,,因為,連續(xù)Hopfield網(wǎng)絡(luò)模型是穩(wěn)定的,2024/3/25,13,2.9.2 連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò),連續(xù)Hopfield網(wǎng)絡(luò)模型的主要特性1)連續(xù)Hopfield網(wǎng)絡(luò)的神經(jīng)元作為I/O轉(zhuǎn)換，其傳輸特性具有Sigmoid特性；2)具有時空整合作用；3)在神經(jīng)元之間存在著大量的興奮性和抑制性連接，這種聯(lián)接主要是通過反饋來實現(xiàn)。4)具有既代表產(chǎn)生動作

8、電位的神經(jīng)元，又有代表按漸進(jìn)方式工作的神經(jīng)元，即保留了動態(tài)和非線性兩個最重要的計算特性。 Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計的目標(biāo)就是使得網(wǎng)絡(luò)存儲一些特定的平衡點，當(dāng)給定網(wǎng)絡(luò)一個初始條件時，網(wǎng)絡(luò)最后會在這樣的點上停下來,2024/3/25,14,2.9.3 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn),MATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能,2024/3/25,15,2.9.3 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn),M

9、ATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能 newhop( )功能 生成一個Hopfield回歸網(wǎng)絡(luò)。格式 net = newhop(T)說明 net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點；T是具有Q個目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)僅有一層，其激活函數(shù)用satlins( )函數(shù)，層中的神經(jīng)元有來自它自身的連接權(quán)和閾

10、值。,2024/3/25,16,2.9.3 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn),MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能satlins( )功能 對稱飽和線性傳遞函數(shù)格式 A = satlins(N)A輸出向量矩陣；N是由網(wǎng)絡(luò)的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位于區(qū)間[0，1]內(nèi)。當(dāng)N中的元素介于-1和1之間時，其輸出等于輸入；當(dāng)輸入值小于-1時返回-1；當(dāng)輸入

11、值大于1時返回1。,2024/3/25,17,2.9.3 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn),例2-8 設(shè)印刷體數(shù)字由10 10點陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個方塊就對應(yīng)數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設(shè)計一個Hopfield網(wǎng)絡(luò)，能夠正確識別印刷體的數(shù)字。,,由點陣構(gòu)成的數(shù)字1,由點陣構(gòu)成的數(shù)字2,2024/3/25,18,例2-8程序,2024/3/25,19,小結(jié),概述離散H