神經(jīng)網(wǎng)絡(luò)

1、2024/3/26,1,神經(jīng)網(wǎng)絡(luò)Neural Networks,2024/3/26,2,目 錄,1. 神經(jīng)計(jì)算2. 并行分布式理論框架3. 交互與競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)4. 誤差反向傳播神經(jīng)網(wǎng)絡(luò)5. Hopfield神經(jīng)網(wǎng)絡(luò)6. 自組織特征映射網(wǎng)絡(luò)7. 自適應(yīng)共振理論8. 脈沖耦合神經(jīng)網(wǎng)絡(luò),2024/3/26,3,神經(jīng)網(wǎng)絡(luò),一個(gè)神經(jīng)網(wǎng)絡(luò)是由簡(jiǎn)單處理元構(gòu)成的規(guī)模宏大的并行分布處理器。天然具有存儲(chǔ)經(jīng)驗(yàn)知識(shí)和使之可用的特性。神經(jīng)網(wǎng)

2、絡(luò)從兩個(gè)方面上模擬大腦： ?神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來(lái)的。 ?內(nèi)部神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí)。,2024/3/26,4,發(fā)展歷史,萌芽期（20世紀(jì)40年代） 人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時(shí)期，到1949年止。 ?1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《Bull

3、etin of Methematical Biophysics》 ? 949年，心理學(xué)家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說(shuō)——Hebb學(xué)習(xí)律。,2024/3/26,5,發(fā)展歷史,第一高潮期（1950~1968） ?以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級(jí)感知器（Perceptron）。 ?可用電子線路模擬。 ?人們樂(lè)觀地認(rèn)

4、為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。,2024/3/26,6,發(fā)展歷史,反思期（1969~1982） ? M. L. Minsky和S. Papert，《Perceptron》，MIT Press，1969年 ?異或”運(yùn)算不可表示 ?二十世紀(jì)70年代和80年代早期的研究結(jié)果,2024/3/26,7,發(fā)展歷史,第二高潮期（1983~1990） ? 1982年，J.

5、 Hopfield提出Hopfield網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來(lái)研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上,,2024/3/26,8,發(fā)展歷史,第二高潮期（1983~1990） ? 1984年， J. Hopfield設(shè)計(jì)研制了后來(lái)被人們稱為Hopfield網(wǎng)-Tank 電路。較好地解決了著名的TSP問(wèn)題，找到了

6、最佳解的近似解，引起了較大的轟動(dòng)。 ? 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。,2024/3/26,9,發(fā)展歷史,? 1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。（Paker1982和Werb

7、os1974年） ?自適應(yīng)共振理論（ART） ?自組織特征映射理論,2024/3/26,10,發(fā)展歷史,? Hinton 等人最近提出了 Helmboltz 機(jī) ? 徐雷提出的 Ying-Yang 機(jī)理論模型 ? 甘利俊一( S.Amari) 開創(chuàng)和發(fā)展的基于統(tǒng)計(jì)流形的方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究, 國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行的。,2024/3/26,11,并行分布式理論框架,1986年，美國(guó)

8、加州大學(xué)圣地亞哥分校（UCSD）Rumellhart，McClelland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge,2024/3/26,12,并行分布式理論框架,PDP模型1）  一組處理單元（PE或AN）2）  處理單元的激活狀態(tài)（ai）3）  每個(gè)處理單元的輸出函數(shù)（fi）4）  處理單元之間

9、的連接模式5）  傳遞規(guī)則（∑wijoi）6） 把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來(lái)產(chǎn)生激活值的激活規(guī)則（Fi）7）  通過(guò)經(jīng)驗(yàn)修改連接強(qiáng)度的學(xué)習(xí)規(guī)則8）  系統(tǒng)運(yùn)行的環(huán)境（樣本集合）,2024/3/26,13,神經(jīng)網(wǎng)絡(luò)的維數(shù),Various types of neuronsVarious network architecturesVarious learning algorithms

10、Various applications,2024/3/26,14,自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu),交互與競(jìng)爭(zhēng)IAC神經(jīng)網(wǎng)絡(luò),,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,2024/3/26,15,競(jìng)爭(zhēng)學(xué)習(xí),相似性測(cè)量＿歐式距離法,2024/3/26,16,,,相似性測(cè)量＿余弦法,競(jìng)爭(zhēng)學(xué)習(xí),2024/3/26,17,競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All,,網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)

11、刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Take All。,競(jìng)爭(zhēng)學(xué)習(xí)原理,2024/3/26,18,,尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。,欲使兩單位向量最相似，須使其點(diǎn)積最大。即：,競(jìng)爭(zhēng)學(xué)習(xí)原理,2024/3/26,19,從上式可以看出，欲使兩單位向量的歐

12、式距離最小，須使兩向量的點(diǎn)積最大。即：,,,,,,競(jìng)爭(zhēng)學(xué)習(xí)原理,2024/3/26,20,3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整,步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。,競(jìng)爭(zhēng)學(xué)習(xí)原理,2024/3/26,21,單層感知器模型,前饋神經(jīng)網(wǎng)絡(luò),j=1,2,…,m,2024/3/26,22,凈輸入：,輸出：,單層感知器,2024/3/26,23,感知器的功能,(1)設(shè)輸入向量X=(x1 ,x2)T,輸出：,則由方程 w1jx1+w2

13、jx2-Tj=0 確定了二維平面上的一條分界線。,單計(jì)算節(jié)點(diǎn)感知器,單層感知器,2024/3/26,24,感知器的功能,單層感知器,2024/3/26,25,感知器的功能,(2)設(shè)輸入向量X=(x1,x2,x3)T,輸出：,則由方程 w1jx1+w2jx2+w3j x3–Tj=0 (3.4) 確定了三維空間上的一個(gè)分界平面。,單層感知器,2024/3/26,26,感知器的功能,單層感知器

14、,2024/3/26,27,多層感知器,網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),2024/3/26,28,雙層感知器,“異或”問(wèn)題分類,用兩計(jì)算層感知器解決“異或”問(wèn)題。,“異或”的真值表,多層感知器,2024/3/26,29,雙層感知器,“異或”問(wèn)題分類,用兩計(jì)算層感知器解決“異或”問(wèn)題,“異或”的真值表,多層感知器,2024/3/26,30,雙層感知器,“異或”問(wèn)題分類,用兩計(jì)算層感知器解決“異或”問(wèn)題。,“異或”的真值表,多層感知器,2024/3/26,

15、31,雙層感知器,“異或”問(wèn)題分類,例四 用兩計(jì)算層感知器解決“異或”問(wèn)題。,“異或”的真值表,,多層感知器,2024/3/26,32,具有不同隱層數(shù)的感知器的分類能力對(duì)比,,,多層感知器,2024/3/26,33,基于BP算法的多層前饋網(wǎng)絡(luò)模型,誤差反向傳播（BP）網(wǎng)路,2024/3/26,34,基于BP算法的多層前饋網(wǎng)絡(luò)模型,輸入向量： X=(x1,x2,…,xi,…,xn)T隱層輸出向量： Y=(y1,y2,…,yj,

16、…,ym)T輸出層輸出向量： O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1, d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl),誤差反向傳播（BP）網(wǎng)路,2024/3/26,35,3.4.1 基于BP算法的多層前饋網(wǎng)絡(luò)模型,誤差反向傳播（BP）網(wǎng)路,2024/3/26,36,3.4.1 基于BP算法

17、的多層前饋網(wǎng)絡(luò)模型,雙極性Sigmoid函數(shù)：,誤差反向傳播（BP）網(wǎng)路,2024/3/26,37,一、網(wǎng)絡(luò)誤差 定義與權(quán)值調(diào)整思路,將以上誤差定義式展開至隱層：,,BP學(xué)習(xí)算法,2024/3/26,38,一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整,進(jìn)一步展開至輸入層：,,,,,BP學(xué)習(xí)算法,2024/3/26,39,BP學(xué)習(xí)算法,式中負(fù)號(hào)表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)。,在全部推導(dǎo)過(guò)程中，對(duì)輸出層有j=0,1,2,…,m; k=1,2,…

18、,l 對(duì)隱層有 i=0,1,2,…,n; j=1,2,…,m,BP學(xué)習(xí)算法,2024/3/26,40,對(duì)于輸出層，式(3.4.9a)可寫為,,,,BP算法推導(dǎo),2024/3/26,41,(1)初始化；,(4)計(jì)算各層誤差信號(hào)；,(5)調(diào)整各層權(quán)值；,(6)檢查是否對(duì)所有樣本完成一次 輪訓(xùn)；,(7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精 度要求。,(2)輸入訓(xùn)練樣本對(duì)X? Xp、d? dp計(jì)算各層輸出；,(3)計(jì)算網(wǎng)絡(luò)輸出誤

19、差；,BP算法的程序?qū)崿F(xiàn),2024/3/26,42,然后根據(jù)總誤差計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值。,另一種方法是在所有樣本輸入之后，計(jì)算網(wǎng)絡(luò)的總誤差：,BP算法的程序?qū)崿F(xiàn),2024/3/26,43,(1)非線性映射能力,多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。,多層前饋網(wǎng)(感知器)的主

20、要能力,2024/3/26,44,(2)泛化能力,當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。,(3)容錯(cuò)能力,輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。,多層前饋網(wǎng)(感知器)的主要能力,2024/3/26,45,誤差函數(shù)的可調(diào)整參數(shù)的個(gè)數(shù) nw 等于各層權(quán)值數(shù)加上閾值數(shù)，即：,誤差 E 是 nw+1 維空間中一個(gè)形狀極為復(fù)雜的曲面，該曲

21、面上的每個(gè)點(diǎn)的“高度”對(duì)應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)的坐標(biāo)向量對(duì)應(yīng)著 nw 個(gè)權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。,BP算法的局限性,2024/3/26,46,誤差曲面的分布有兩個(gè)特點(diǎn)：,特點(diǎn)之一：存在平坦區(qū)域,BP算法的局限性,2024/3/26,47,特點(diǎn)之二：存在多個(gè)極小點(diǎn),多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一的，但其特點(diǎn)都是誤差梯度為零。,誤差曲面的平坦區(qū)域會(huì)使訓(xùn)練次數(shù)大大增加，從而影響了收斂速度；而誤差曲面的多極小

22、點(diǎn)會(huì)使訓(xùn)練陷入局部極小，從而使訓(xùn)練無(wú)法收斂于給定誤差。,BP算法的局限性,2024/3/26,48,標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：,⑴ 易形成局部極小而得不到全局最優(yōu)；⑵ 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶ 隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；⑷ 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。,針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中3種較常用的方法。,標(biāo)準(zhǔn)BP算法的改進(jìn),2024/3/26,49,1 增加動(dòng)量

23、項(xiàng),α為動(dòng)量系數(shù)，一般有α∈(0，1),2 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率,設(shè)一初始學(xué)習(xí)率，若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差↑，則本次調(diào)整無(wú)效，且?=β?(β1 )。,標(biāo)準(zhǔn)BP算法的改進(jìn),2024/3/26,50,3 引入陡度因子,實(shí)現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡度因子λ,標(biāo)準(zhǔn)BP算法的改進(jìn),2024/3/26,51,概述,Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J.J.Hopfield教

24、授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。,Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(優(yōu)化問(wèn)題)。,Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfiel

25、d Neural Network) 。,Hello,I’m John Hopfield,2024/3/26,52,離散Hopfield 神經(jīng)網(wǎng)絡(luò),,2024/3/26,53,離散Hopfield 神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)模型表示法二,,2024/3/26,54,離散Hopfield 神經(jīng)網(wǎng)絡(luò),相關(guān)參數(shù)說(shuō)明任意神經(jīng)元 i與 j間的突觸權(quán)值為 ，神經(jīng)元之間連接是對(duì)稱的，神經(jīng)元自身無(wú)連接. 每個(gè)神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號(hào)經(jīng)過(guò)其他神經(jīng)元又

26、有可能反饋給自己 設(shè)Hopfield網(wǎng)絡(luò)中有n個(gè)神經(jīng)元，其中任意神經(jīng)元的輸入用 表示，輸出 用表示，它們都是時(shí)間的函數(shù)，其中 也稱為神經(jīng)元在時(shí)刻t 的狀態(tài)。,,,,,,,,,2024/3/26,55,離散Hopfield 神經(jīng)網(wǎng)絡(luò),激勵(lì)函數(shù),,2024/3/26,56,離散Hopfield 神經(jīng)網(wǎng)絡(luò),離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式 在任—時(shí)刻，只有某—神經(jīng)元 (隨機(jī)的或確定的選擇)依上式

27、變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式 在任一時(shí)刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)改變。,2024/3/26,57,離散Hopfield 神經(jīng)網(wǎng)絡(luò),串行(異步)工作方式運(yùn)行步驟第一步 對(duì)網(wǎng)絡(luò)進(jìn)行初始化；第二步 從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元；第三步 按式(2-5)求出該神經(jīng)元i的輸出；第四步 按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時(shí)網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；第五步 判斷網(wǎng)絡(luò)

28、是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。,2024/3/26,58,離散Hopfield 神經(jīng)網(wǎng)絡(luò),穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元自身無(wú)連接 能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最后達(dá)到穩(wěn)定,,2024/3/26,59,離散Hopfield 神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量,,,Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。

29、由于能量函數(shù)有界，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài) 。,2024/3/26,60,連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò),,網(wǎng)絡(luò)模型,2024/3/26,61,連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò),穩(wěn)定性分析將下式代入得：,,,,,,,因?yàn)?連續(xù)Hopfield網(wǎng)絡(luò)模型是穩(wěn)定的,2024/3/26,62,連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò),連續(xù)Hopfield網(wǎng)絡(luò)模型的主要特性1)連續(xù)Hopfield網(wǎng)絡(luò)的神經(jīng)元作為I/O轉(zhuǎn)換，其傳輸特性具有Sigmo

30、id特性；2)具有時(shí)空整合作用；3)在神經(jīng)元之間存在著大量的興奮性和抑制性連接，這種聯(lián)接主要是通過(guò)反饋來(lái)實(shí)現(xiàn)。4)具有既代表產(chǎn)生動(dòng)作電位的神經(jīng)元，又有代表按漸進(jìn)方式工作的神經(jīng)元，即保留了動(dòng)態(tài)和非線性兩個(gè)最重要的計(jì)算特性。 Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的目標(biāo)就是使得網(wǎng)絡(luò)存儲(chǔ)一些特定的平衡點(diǎn)，當(dāng)給定網(wǎng)絡(luò)一個(gè)初始條件時(shí)，網(wǎng)絡(luò)最后會(huì)在這樣的點(diǎn)上停下來(lái),2024/3/26,63,Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn),MATLAB

31、中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能,2024/3/26,64,Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn),MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能 newhop( )功能 生成一個(gè)Hopfield回歸網(wǎng)絡(luò)。格式 net = newhop(T)說(shuō)明 net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點(diǎn)；T是具有Q個(gè)目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記

32、憶中。Hopfield神經(jīng)網(wǎng)絡(luò)僅有一層，其激活函數(shù)用satlins( )函數(shù)，層中的神經(jīng)元有來(lái)自它自身的連接權(quán)和閾值。,2024/3/26,65,Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn),MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能satlins( )功能 對(duì)稱飽和線性傳遞函數(shù)格式 A = satlins(N)A輸出向量矩陣；N是由網(wǎng)絡(luò)的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位

33、于區(qū)間[0，1]內(nèi)。當(dāng)N中的元素介于-1和1之間時(shí)，其輸出等于輸入；當(dāng)輸入值小于-1時(shí)返回-1；當(dāng)輸入值大于1時(shí)返回1。,2024/3/26,66,Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn),設(shè)印刷體數(shù)字由10 10點(diǎn)陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個(gè)方塊就對(duì)應(yīng)數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，能夠正確識(shí)別印刷體的數(shù)字。,,由點(diǎn)陣構(gòu)成的數(shù)字1,由點(diǎn)陣構(gòu)成的數(shù)字2,202

34、4/3/26,67,程序,2024/3/26,68,穩(wěn)定性分析,網(wǎng)絡(luò)的穩(wěn)定性是與收斂性不同的問(wèn)題 Cohen和Grossberg[1983年]:Hopfield網(wǎng)絡(luò)的穩(wěn)定性定理 如果Hopfield網(wǎng)絡(luò)的聯(lián)接權(quán)矩陣是對(duì)角線為0的對(duì)稱矩陣，則它是穩(wěn)定的 用著名的Lyapunov函數(shù)作為Hopfield網(wǎng)絡(luò)的能量函數(shù),2024/3/26,69,Lyapunov函數(shù)——能量函數(shù),作為網(wǎng)絡(luò)的穩(wěn)定性度量wijoioj：網(wǎng)絡(luò)的一致性測(cè)度

35、。xjoj：神經(jīng)元的輸入和輸出的一致性測(cè)度。θjoj：神經(jīng)元自身的穩(wěn)定性的測(cè)度。,2024/3/26,70,當(dāng)ANk的狀態(tài)從ok變成ok′,1、ANk是輸入神經(jīng)元,2024/3/26,71,當(dāng)ANk的狀態(tài)從ok變成ok′,wkk=0,2024/3/26,72,ΔΕ=-(netk-θk)Δok,ANk狀態(tài)的變化：Δok=(ok′-ok)Δok=0，ΔΕ =0,Δok>0，ok′=1& ok=0，ok由0變到1，net

36、k>θk，netk-θk>0所以，-(netk-θk)Δok<0故ΔΕ<0,結(jié)論：網(wǎng)絡(luò)的目標(biāo)函數(shù)總是下降,Δok<0, ok′=0& ok=1，ok由1變到0netk<θk，netk-θk<0-(netk-θk)Δok<0故ΔΕ<0,2024/3/26,73,當(dāng)ANk的狀態(tài)從ok變成ok′,2、ANk不是輸入神經(jīng)元,,,2024/3/26,74,當(dāng)ANk的狀態(tài)從ok變成

37、ok′,,無(wú)論ANk的狀態(tài)是如何變化的，總有ΔΕ≤ 0,2024/3/26,75,聯(lián)想記憶的結(jié)構(gòu),自聯(lián)想異聯(lián)想雙聯(lián)想記憶（Bidirectional Associative Memory—BAM）。雙聯(lián)想記憶具有一定的泛化能力它對(duì)含有一定缺陷的輸入向量，通過(guò)對(duì)信號(hào)的不斷變換、修補(bǔ)，最后給出一個(gè)正確的輸出。,2024/3/26,76,基本的聯(lián)想記憶結(jié)構(gòu),2024/3/26,77,網(wǎng)絡(luò)運(yùn)行,Y=F(XW)X=F(YWT)X=(x

38、1，x2，…，xn)Y=(y1，y2，…，ym)F為神經(jīng)元的激活函數(shù)，一般可采用S形函數(shù),2024/3/26,78,激活函數(shù)——閾值函數(shù),隨著λ的增加，該函數(shù)趨近于閾值為0的閾值函數(shù)。 1if neti>0yi= 0if neti<0 yiif neti=0,,2024/3/26,79,基本BAM的穩(wěn)定,Kosko(1987)：基本的雙聯(lián)存儲(chǔ)器無(wú)條件穩(wěn)定——聯(lián)接權(quán)矩陣是互為轉(zhuǎn)置矩陣。當(dāng)輸入

39、向量的維數(shù)與輸出向量的維數(shù)相同時(shí)，W為方陣，此時(shí)如果聯(lián)接矩陣W是對(duì)稱的，則基本的雙聯(lián)存儲(chǔ)器退化成一個(gè)Hopfield網(wǎng),2024/3/26,80,異聯(lián)想記憶,樣本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)}權(quán)矩陣,網(wǎng)絡(luò)需要對(duì)輸入向量進(jìn)行循環(huán)處理的情況當(dāng)輸入向量中含有“噪音”樣本集所含的信息超出網(wǎng)絡(luò)的容量,2024/3/26,81,容量,Kosko（1987），一般情況下，相聯(lián)存儲(chǔ)器的容量不會(huì)超過(guò)網(wǎng)絡(luò)最小層神經(jīng)元的個(gè)

40、數(shù)min Haines和Hecht-Nielson（1988），“非均勻”網(wǎng)絡(luò)的容量最多可以達(dá)到2min R. J. McEliece、E. C. Posner、E. R. Rodemich用戶隨機(jī)地選擇L個(gè)狀態(tài)每個(gè)向量中有4+log2min個(gè)分量為1，其它為-198%的向量成為穩(wěn)定狀態(tài),2024/3/26,82,Hopfield網(wǎng)解決TSP問(wèn)題,1985年，J. J. Hopfield和D. W. Tank用神經(jīng)網(wǎng)求解TSP

41、。試驗(yàn)表明，當(dāng)城市的個(gè)數(shù)不超過(guò)30時(shí)，多可以給出最優(yōu)解的近似解。而當(dāng)城市的個(gè)數(shù)超過(guò)30時(shí)，最終的結(jié)果就不太理想了 n個(gè)城市間存在n!/(2n)條可能路徑 設(shè)問(wèn)題中含有n個(gè)城市,用n*n個(gè)神經(jīng)元構(gòu)成網(wǎng)絡(luò),2024/3/26,83,Hopfield網(wǎng)解決TSP問(wèn)題,dxy——城市X與城市Y之間的距離；yxi——城市X的第i個(gè)神經(jīng)元的狀態(tài)： 1城市X在第i個(gè)被訪問(wèn)yxi= 0城市X不在第i個(gè)被訪問(wèn)wxi,yj—

42、—城市X的第i個(gè)神經(jīng)元到城市Y的第j個(gè)神經(jīng)元的連接權(quán)。,,2024/3/26,84,Hopfield網(wǎng)用于解決TSP問(wèn)題,例如：四個(gè)城市X、Y、Z、W,2024/3/26,85,Hopfield網(wǎng)用于解決TSP問(wèn)題,連接矩陣 wxi,yj= -Aδxy(1-δij) –Bδij(1-δxy) –C –ζdxy(δji+1+δji-1) 1如果i=jδij= 0如果i≠j,,2024/3/26,8

43、6,網(wǎng)絡(luò)的能量函數(shù),,2024/3/26,87,網(wǎng)絡(luò)的能量函數(shù),僅當(dāng)所有的城市最多只被訪問(wèn)一次時(shí)取得極小值0。,A、B、C、D為懲罰因子,第1項(xiàng),2024/3/26,88,網(wǎng)絡(luò)的能量函數(shù),僅當(dāng)每次最多只訪問(wèn)一個(gè)城市時(shí)取得極小值0。,第2項(xiàng),2024/3/26,89,網(wǎng)絡(luò)的能量函數(shù),當(dāng)且僅當(dāng)所有的n個(gè)城市一共被訪問(wèn)n次時(shí)才取得最小值0。,第3項(xiàng),2024/3/26,90,網(wǎng)絡(luò)的能量函數(shù),表示按照當(dāng)前的訪問(wèn)路線的安排，所需要走的路徑的總長(zhǎng)度

44、,第4項(xiàng),2024/3/26,91,Hopfield網(wǎng)解決TSP問(wèn)題,Hopfield網(wǎng)解決TSP問(wèn)題時(shí)顯示了它強(qiáng)大的計(jì)算能力，若對(duì)10個(gè)城市的TSP問(wèn)題來(lái)說(shuō)，可能存在 n!/2n=10!/20=181440條 它能從近20萬(wàn)條路線中選出最好的路線，顯示它的計(jì)算能力。,2024/3/26,92,概 述,自組織神經(jīng)網(wǎng)絡(luò)，又稱為自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò),特別適合于解決模式分類和識(shí)別方面的應(yīng)用問(wèn)題。自組織神經(jīng)網(wǎng)絡(luò)屬于前向神經(jīng)網(wǎng)絡(luò)類

45、型，采用無(wú)導(dǎo)師學(xué)習(xí)算法，自組織特征映射神經(jīng)網(wǎng)絡(luò)不僅能夠像自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)一樣學(xué)習(xí)輸入的分布情況，而且可以學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。,2024/3/26,93,概 述,自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)類型自組織特征映射(self-Organizing Map，SOM)網(wǎng)絡(luò)自適應(yīng)共振理論(Adaptive Resonance Theory，ART)網(wǎng)絡(luò)對(duì)傳(Counter Propagation，CP)網(wǎng)絡(luò)協(xié)同神經(jīng)網(wǎng)絡(luò)(Synergetic

46、Neural Network．SNN),2024/3/26,94,自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),由芬蘭學(xué)者Teuvo Kohonen于1981年提出基本上為輸入層和映射層的雙層結(jié)構(gòu),映射層的神經(jīng)元互相連接，每個(gè)輸出神經(jīng)元連接至所有輸入神經(jīng)元 Kohonen的思想在本質(zhì)上是希望解決有關(guān)外界信息在人腦中自組織地形成概念的問(wèn)題。,I’m Teuvo Kohonen,2024/3/26,95,SOM網(wǎng)的生物學(xué)基礎(chǔ),Kohone

47、n認(rèn)為人的大腦有如下特點(diǎn)：1．大腦的神經(jīng)元雖然在結(jié)構(gòu)上相同，但是它們的排序不同。排序不是指神經(jīng)元位置的移動(dòng)，而是指神經(jīng)元的有關(guān)參數(shù)在神經(jīng)網(wǎng)絡(luò)受外部輸入刺激而識(shí)別事物的過(guò)程中產(chǎn)生變動(dòng)。2．大腦中神經(jīng)元參數(shù)在變動(dòng)之后形成特定的參數(shù)組織；具有這種特定參數(shù)組織的神經(jīng)網(wǎng)絡(luò)對(duì)外界的特定事物特別敏感。3．根據(jù)生物學(xué)和神經(jīng)生理學(xué)，大腦皮層分成多種不同的局部區(qū)域，各個(gè)區(qū)域分別管理某種專門的功能，比如聽(tīng)覺(jué)、視覺(jué)、思維等。4．大腦中神經(jīng)元的排序受遺傳

48、決定，但會(huì)在外界信息的刺激下，不斷接受傳感信號(hào)，不斷執(zhí)行聚類過(guò)程，形成經(jīng)驗(yàn)信息，對(duì)大腦皮層的功能產(chǎn)生自組織作用，形成新功能。,2024/3/26,96,SOM網(wǎng)的生物學(xué)基礎(chǔ),生物學(xué)研究的事實(shí)表明，在人腦的感覺(jué)通道上，神經(jīng)元的組織原理是有序排列。因此當(dāng)人腦通過(guò)感官接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象的。 對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有序排列以及對(duì)外界信息的連

49、續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。,2024/3/26,97,自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),2024/3/26,98,SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu),SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。,2024/3/26,99,SOM網(wǎng)的權(quán)值調(diào)整域,SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元

50、在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：,2024/3/26,100,SOM網(wǎng)的權(quán)值調(diào)整域,以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。,2024/3/26,101,自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)算法,自組織特征映

51、射學(xué)習(xí)算法原理Kohonen自組織特征映射算法，能夠自動(dòng)找出輸入數(shù)據(jù)之間的類似度，將相似的輸入在網(wǎng)絡(luò)上就近配置。因此是一種可以構(gòu)成對(duì)輸入數(shù)據(jù)有選擇地給予響應(yīng)的網(wǎng)絡(luò)。類似度準(zhǔn)則歐氏距離,,2024/3/26,102,自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)算法,,自組織特征映射學(xué)習(xí)算法步驟(1)網(wǎng)絡(luò)初始化用隨機(jī)數(shù)設(shè)定輸入層和映射層之間權(quán)值的初始值(2)輸入向量把輸入向量輸入給輸入層(3) 計(jì)算映射層的權(quán)值向量和輸入向量的距離映射層的神經(jīng)

52、元和輸入向量的距離，按下式給出,,2024/3/26,103,自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)算法,自組織特征映射學(xué)習(xí)算法步驟(4) 選擇與權(quán)值向量的距離最小的神經(jīng)元計(jì)算并選擇使輸入向量和權(quán)值向量的距離最小的神經(jīng)元，把其稱為勝出神經(jīng)元并記為 ，并給出其鄰接神經(jīng)元集合。 (5)調(diào)整權(quán)值 勝出神經(jīng)元和位于其鄰接神經(jīng)元的權(quán)值，按下式更新： (6)是否達(dá)到預(yù)先設(shè)定的要求如達(dá)到要求則算法結(jié)束，否則返回(2)，進(jìn)入下一輪學(xué)習(xí),2024/3

53、/26,104,自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)算法,鄰域函數(shù)由鄰域函數(shù)可以看到，以獲勝神經(jīng)元為中心設(shè)定了一個(gè)鄰域半徑，稱為勝出鄰域。學(xué)習(xí)初期，勝出神經(jīng)元和其附近的神經(jīng)元全部接近當(dāng)時(shí)的輸入向量，形成粗略的映射。 隨著學(xué)習(xí)的進(jìn)行而減小，勝出鄰域變窄，勝出神經(jīng)元附近的神經(jīng)元數(shù)變少。因此，學(xué)習(xí)方法是一種從粗調(diào)整向微調(diào)整變化，最終達(dá)到預(yù)定目標(biāo)的過(guò)程。,,2024/3/26,105,Kohonen學(xué)習(xí)算法程序流程,2024/3/26,106,Hi

54、erarchical and Partitive Approaches,Partitive algorithmDetermine the number of clusters.Initialize the cluster centers.Compute partitioning for data.Compute (update) cluster centers.If the partitioning is unchanged

55、(or the algorithm has converged), stop; otherwise, return to step 3k-means error functionTo minimize error function,2024/3/26,107,Hierarchical and Partitive Approaches,Hierarchical clustering algorithm (Dendrogram)Ini

56、tialize: Assign each vector to its own clusterCompute distances between all clusters.Merge the two clusters that are closest to each other.Return to step 2 until there is only one cluster left.Partition strategyCut

57、at different level,2024/3/26,108,Hierarchical SOM,GHSOM – Growing Hierarchical Self-Organizing Mapgrow in size in order to represent a collection of data at a particular level of detail,2024/3/26,109,自組織網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),

58、MATLAB中自組織神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能,2024/3/26,110,自組織網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),MATLAB中自組織神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newsom()功能 創(chuàng)建一個(gè)自組織特征映射網(wǎng)絡(luò)函數(shù)格式 net = newsom(PR，[D1，D2，...]，TFCN，DFCN，OLR，OSTEPS，TLR，TND)說(shuō)明 net為生成的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入矢量取值范圍的矩陣[Pmin Pmax]

59、；[D1，D2，...]為神經(jīng)元在多維空間中排列時(shí)各維的個(gè)數(shù)；TFCN為拓?fù)浜瘮?shù)，缺省值為hextop；DFCN為距離函數(shù)，缺省值為linkdist；OLR為排列階段學(xué)習(xí)速率，缺省值為0.9；OSTEPS為排列階段學(xué)習(xí)次數(shù)，缺省值為1000；TLR為調(diào)整階段學(xué)習(xí)速率，缺省值為0.02，TND為調(diào)整階段領(lǐng)域半徑，缺省值為1。,2024/3/26,111,自組織網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),plotsom()功能 繪制自組織特征映射網(wǎng)

60、絡(luò)圖的權(quán)值向量 函數(shù)格式 (1) plotsom(pos) (2) plotsom(W，D，ND)說(shuō)明 式中pos是網(wǎng)絡(luò)中各神經(jīng)元在物理空間分布的位置坐標(biāo)矩陣；函數(shù)返回神經(jīng)元物理分布的拓?fù)鋱D，圖中每?jī)蓚€(gè)間距小于1的神經(jīng)元以直線連接；W為神經(jīng)元權(quán)值矩陣；D為根據(jù)神經(jīng)元位置計(jì)算出的間接矩陣；ND為領(lǐng)域半徑，缺省值為1；函數(shù)返回神經(jīng)元權(quán)值的分布圖，圖中每?jī)蓚€(gè)間距小于ND的神經(jīng)元以直線連接。,2024/3/26,112,自

61、組織網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),yec2ind()功能 將單值向量組變換成下標(biāo)向量格式 ind = vec2ind(vec)說(shuō)明 式中，vec為m行n列的向量矩陣x，x中的每個(gè)列向量i，除包含一個(gè)1外，其余元素均為0， ind為n個(gè)元素值為1所在的行下標(biāo)值構(gòu)成的一個(gè)行向量。,2024/3/26,113,自組織網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),例1 人口分類是人口統(tǒng)計(jì)中的一個(gè)重要指標(biāo)，現(xiàn)有1999共10個(gè)地區(qū)的人口出生比例情

62、況如下：出生男性百分比分別為：0.5512 0.51230.50870.50010.60120.52980.50000.49650.51030.5003;出生女性百分比分別為：0.4488 0.48770.49130.49990.39880.47020.50000.50350.48970.4997,2024/3/26,114,自組織網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),例1 源程序,2024/

63、3/26,115,例1 SOM網(wǎng)絡(luò)權(quán)值分布圖,2024/3/26,116,例1 SOM網(wǎng)絡(luò)數(shù)據(jù)分類圖,,,,,,,類別1,類別2,類別5,類別4,類別3,測(cè)試數(shù)據(jù)屬于類別5,2024/3/26,117,自組織語(yǔ)義圖,利用詞與詞在文檔中的上下文關(guān)系，將詞表示成一個(gè)向量，然后用表示詞的向量作為SOM網(wǎng)絡(luò)的輸入，聚類，輸出形成一個(gè)詞匯類別圖（Word category map） 在這個(gè)圖中，意義相近的詞聚在一起，組成一個(gè)詞類，詞在詞匯類別圖

64、中的位置可以通過(guò)快速Hash的方法查到。,2024/3/26,118,自組織語(yǔ)義圖：一種將詞向量化的方法,在一個(gè)文檔集中考慮詞與詞之間的上下文關(guān)系。設(shè)Ii(d)表示相對(duì)于第i個(gè)詞位移為d的位置上出現(xiàn)的詞集合（有可能出現(xiàn)多次），例如，Ii(1)表示第i個(gè)詞的所有前趨鄰接詞用向量xi表示第i個(gè)詞，對(duì)位移集{d1,…,dN}： ， 其中， 表示 中詞的數(shù)量 一般地，為計(jì)算簡(jiǎn)單，只取

65、d=1和d=-1,2024/3/26,119,自組織語(yǔ)義圖：另一種對(duì)中文詞匯向量化的方法,對(duì)每一個(gè)詞，在文檔集合中出現(xiàn)該詞的時(shí)候會(huì)伴隨一些修飾詞。因此可以用修飾詞來(lái)表示該詞，提供該詞的一些語(yǔ)義信息例如對(duì)名詞“大學(xué)”，會(huì)出現(xiàn)一些修飾詞如“本科”、“重點(diǎn)”、“合格”等，則定義，大學(xué)={本科，重點(diǎn)，合格，…},2024/3/26,120,自組織語(yǔ)義圖：另一種對(duì)中文詞匯向量化的方法,一般地，詞wi(i=1,2,…,N)為： 其中ni表

66、示修飾詞個(gè)數(shù) 定義詞wi的向量表示為： 其中， ， ； ， cij表示詞wi和詞wj的修飾詞集合中都出現(xiàn)的修飾詞個(gè)數(shù) 將詞用這種向量表示后，作為一個(gè)SOM網(wǎng)絡(luò)的輸入，可以聚類形成中文語(yǔ)義圖。,2024/3/26,121,自組織語(yǔ)義圖：示例,2024/3/26,122,利用SOM

67、進(jìn)行文本聚類：預(yù)處理,去掉非文本信息去掉在整個(gè)文檔集合中出現(xiàn)次數(shù)小于50次的詞去停用詞經(jīng)過(guò)上述處理后，詞的個(gè)數(shù)由 1 127 184 減少為 63 773,2024/3/26,123,利用SOM進(jìn)行文本聚類：Word category map,將詞表示成為一個(gè)180維的向量，作為一個(gè)SOM網(wǎng)絡(luò)的輸入，進(jìn)行聚類最終產(chǎn)生 13 432 個(gè)詞類單元（ 63 773 ? 13 432）,2024/3/26,124,利用SOM進(jìn)行文本聚

68、類：Document map,利用上面產(chǎn)生的詞類將文檔向量化后，每篇文檔表示為一個(gè) 13 432 維的向量，再利用隨機(jī)映射(Random mapping method)的降維方法，向量維數(shù)減少到 315 維將這 315 維的向量作為一個(gè) SOM 的輸入相關(guān)的結(jié)果可以參見(jiàn)http://websom.hut.fi/websom/,2024/3/26,125,利用SOM進(jìn)行文本聚類,2024/3/26,126,SOM的特點(diǎn),自組織映射（S

69、elf-organizing Maps，SOM）算法是一種無(wú)導(dǎo)師學(xué)習(xí)方法具有良好的自組織可視化得到了廣泛的應(yīng)用和研究。,2024/3/26,127,脈沖耦合神經(jīng)網(wǎng)絡(luò),隨著生物神經(jīng)學(xué)的研究和發(fā)展，Eckhorn等通過(guò)對(duì)小型哺乳動(dòng)物大腦視覺(jué)皮層神經(jīng)系統(tǒng)工作機(jī)理的仔細(xì)研究，提出了一種嶄新的網(wǎng)絡(luò)模型??脈沖耦合神經(jīng)網(wǎng)絡(luò)模型Pulse-Coupled Neural Network, PCNN )。PCNN來(lái)源于對(duì)哺乳動(dòng)物貓的視覺(jué)皮層神經(jīng)細(xì)胞