第四章、非監(jiān)督式類神經(jīng)網(wǎng)路

1、第四章,非監(jiān)督式類神經(jīng)網(wǎng)路,4.1 簡(jiǎn)介,非監(jiān)督式的類神經(jīng)網(wǎng)路在缺乏期望輸出值的情況下，能夠自行發(fā)掘出資料中的那些特徵是重要的或是可忽略的，以便將資料作“群聚” (clustering) 的處理。此種類神經(jīng)網(wǎng)路經(jīng)常被用來(lái)作為前處理單元 (preprocessing unit)，以便萃取出資料的特徵，或?qū)①Y料做向量量化 (vector quantization) 之後，再配合監(jiān)督式學(xué)習(xí)法，便可完成圖樣識(shí)別 (pattern recogn

2、ition) 的任務(wù)?；旧希祟愋偷木W(wǎng)路，其類神經(jīng)元的輸出值所代表的意義是，此類神經(jīng)元對(duì)於目前輸入網(wǎng)路的資料，其熟悉程度有多高？熟悉程度的高低，則取決於目前資料與過去網(wǎng)路所見過的一些已經(jīng)形成範(fàn)例的資料，彼此之間的相似度有多大？而量測(cè)相似度的方法，則依據(jù)各種不同的非監(jiān)督式類神經(jīng)網(wǎng)路，有各自的考量。,4.2競(jìng)爭(zhēng)式學(xué)習(xí)演算法則 (1),除了來(lái)自生物現(xiàn)象的動(dòng)機(jī)之外，在群聚分析 (clustering analysis) 的問題上，我們會(huì)需

3、要非監(jiān)督式的學(xué)習(xí)法來(lái)發(fā)掘出資料本身所具備的結(jié)構(gòu)。 在類神經(jīng)網(wǎng)路中有兩種實(shí)現(xiàn)非監(jiān)督式學(xué)習(xí)法的演繹法則： 1. Hebbian 學(xué)習(xí)規(guī)則 ? 通常不是被用來(lái)分析資料間的群聚關(guān)係或被用來(lái)將資料分類；反而是被用來(lái)量測(cè)資料間的相似性或分析出資料中的“主要成份向量 (principle components)”。 2. 競(jìng)爭(zhēng)式學(xué)習(xí)法則 ? 使用競(jìng)爭(zhēng)式學(xué)習(xí)法的類神經(jīng)網(wǎng)路，只有其中的一個(gè)類神經(jīng)元會(huì)被活化，這個(gè)被活化的類神經(jīng)元就稱為“得勝者 (w

4、inner)”類神經(jīng)元。這種類神經(jīng)網(wǎng)路通常是被用來(lái)作群聚分析，在沒有事先的分類資訊下，去發(fā)覺資料中本身的結(jié)構(gòu)及群聚關(guān)係。,群聚分析 (1),群聚分析是用來(lái)探索資料中資料群聚結(jié)構(gòu)的一種工具，其目的主要是將相似的資料歸類在同一群聚中。透過分群演算法所得到的這些群聚，可以用來(lái)解釋原始資料的分布與特性。有關(guān)群聚分析的研究，仍有待解決的問題有下列幾項(xiàng)：(1)  如何決定相似度？(2)  如何決定群聚的數(shù)目？(3)

5、如何決定哪個(gè)分群的結(jié)果是較理想的？,群聚分析 (2),不同的相似度會(huì)導(dǎo)致所形成之群聚幾何特性不同。若用歐基里德距離 ，( 代表資料點(diǎn)而 代表群聚中心向量)，來(lái)當(dāng)相似度 (距離越小則相似度越高)，則會(huì)形成大小相似且緊密之圓形群聚。 若用 來(lái)當(dāng)相似度( 值越大則相似度越高，其中 代表夾角)，則會(huì)形成同一角度之狹長(zhǎng)形群聚。 倘若採(cǎi)用的是

6、 (值越大則相似度越高)，則並不一定會(huì)形成同一角度之狹長(zhǎng)形群聚，因?yàn)?和 的大小不同，會(huì)導(dǎo)致即使它們幾乎同一角度，但 值還是有很大之差異。,,,,,,,,,,,4.2競(jìng)爭(zhēng)式學(xué)習(xí)演算法則 (2),競(jìng)爭(zhēng)式學(xué)習(xí)法 (此法有時(shí)被稱為Kohonen學(xué)習(xí)規(guī)則或贏者全拿學(xué)習(xí)規(guī)則 (winner-take-all learning rule)) 的單層類神經(jīng)網(wǎng)路，如圖4.1所示,圖4.1

7、：競(jìng)爭(zhēng)式學(xué)習(xí)法之網(wǎng)路架構(gòu)。,4.2競(jìng)爭(zhēng)式學(xué)習(xí)演算法則 (3),競(jìng)爭(zhēng)式學(xué)習(xí)法的執(zhí)行分為兩個(gè)階段： 步驟一：競(jìng)爭(zhēng)階段 (competitive phase) ? 選出得勝者 1. 若活化函數(shù) 為嚴(yán)格遞增型的函數(shù)(如sigmoid 函數(shù)或線性函數(shù)) 如果鍵結(jié)向量 都被正規(guī)化為長(zhǎng)度為 1 的基本向量 2. 若活化函數(shù) 為高斯型基底函數(shù)，則在不需任何

8、其它條件下，式(4.1) 可以直接重寫為：,(4.1),(4.2),(4.3),(4.4),,,,,4.2競(jìng)爭(zhēng)式學(xué)習(xí)演算法則 (4),步驟二：獎(jiǎng)勵(lì)階段(reward phase)?調(diào)整得勝者的鍵結(jié)向量 步驟三：疊代階段(reward phase)?檢查停止訓(xùn)練條件是否吻合 如果鍵結(jié)值向量的改變量小於事先設(shè)定之閥值，或則疊代次數(shù)到達(dá)事先設(shè)定之上限，則停止訓(xùn)練；否則，回到步驟一，繼續(xù)訓(xùn)練。,4.2競(jìng)爭(zhēng)式學(xué)習(xí)演算法則 (5)

9、,,,圖4.2 :鍵結(jié)值向量調(diào)整公式的幾何說明。,範(fàn)例4.1：競(jìng)爭(zhēng)式學(xué)習(xí)法則 (1),假設(shè)學(xué)習(xí)率，網(wǎng)路由兩個(gè)類神經(jīng)元所組成，類神經(jīng)元的鍵結(jié)值初始值分別為： 以及 。,,,,範(fàn)例4.1：競(jìng)爭(zhēng)式學(xué)習(xí)法則 (2),歐基里德距離,範(fàn)例4.1：競(jìng)爭(zhēng)式學(xué)習(xí)法則 (3),值,,範(fàn)例4.1：競(jìng)爭(zhēng)式學(xué)習(xí)法則 (4),內(nèi)積,,,,圖4.6 : 以內(nèi)積為得勝者選取標(biāo)準(zhǔn)的分群結(jié)果。,圖4.5 : 以cos值為

10、得勝者選取標(biāo)準(zhǔn)的分群結(jié)果。,圖4.4 : 以歐基里德為得勝者選取標(biāo)準(zhǔn)的分群結(jié)果。,4.2競(jìng)爭(zhēng)式學(xué)習(xí)演算法則 (6),我們將競(jìng)爭(zhēng)式學(xué)習(xí)法的特性分析如下： 鍵結(jié)向量的初始化會(huì)影響到學(xué)習(xí)的最後效果，而這個(gè)問題的解決方式有：  (1) 將所有類神經(jīng)元的鍵結(jié)向量隨機(jī)初始化為一部份的輸入向量。(2) 加入良心機(jī)構(gòu) 。 (3) 在獎(jiǎng)勵(lì)階段時(shí)，所有的類神經(jīng)元的鍵結(jié)向量都予以調(diào)整，但

11、 得 勝者調(diào)整得最多。 類神經(jīng)元的數(shù)目必須由使用者設(shè)定，因此如果設(shè)定的不對(duì) (即不等於實(shí)際資料的群聚數(shù)目)，則會(huì)將資料錯(cuò)誤地歸類。,圖4.3：鍵結(jié)值向量之初始化對(duì)競(jìng)爭(zhēng)式學(xué)習(xí)法之影響：其中 將永遠(yuǎn)得不到被調(diào)整的機(jī)會(huì)。,K-means 演算法,步驟一：設(shè)定群聚目K>0，以及群聚中心的初始中心位 置 ，其中 。 步驟二：將訓(xùn)練資

12、料 ，依據(jù)它們與各個(gè)群聚中心的距離 (可以用一般的歐基里德距離或是其它距離量測(cè))遠(yuǎn)近，分配到最近的群聚中心。 步驟三：依據(jù)下式來(lái)更新群聚中心位置： 其中代表所有被歸類於第個(gè)群聚的資料集合，代表屬於的資料個(gè)數(shù)。 步驟四：如果 ( ? 是一個(gè)事先給定的正實(shí)數(shù))，或資料的歸類與前一

13、次疊代過程相同，又或者是疊代次數(shù)超過某一上限，那麼就停止運(yùn)算，否則，回到步驟二，繼續(xù)疊代。,競(jìng)爭(zhēng)式學(xué)習(xí)法與K-means 演算法之比較,競(jìng)爭(zhēng)式學(xué)習(xí)法比K-means 演算法更受資料順序所影響。競(jìng)爭(zhēng)式學(xué)習(xí)法是圖樣學(xué)習(xí)，而K-means 演算法是批次學(xué)習(xí)。競(jìng)爭(zhēng)式學(xué)習(xí)法所得到之鍵結(jié)值不一定是群聚中心，但K-means 演算法卻是。,4.3適應(yīng)共振理論 (1),“穩(wěn)定性與可塑性的進(jìn)退兩難論 (stability and plasticit

14、y dilemma)” 。這個(gè)學(xué)習(xí)系統(tǒng)要有足夠的穩(wěn)定性來(lái)抗拒環(huán)境中不相干的干擾或事件，但又要有足夠的可塑性以便能夠快速地改變及學(xué)習(xí)，來(lái)因應(yīng)環(huán)境的變化，也就是說，要能夠快速學(xué)習(xí)，但又不會(huì)洗去舊有的記憶。 適應(yīng)共振理論 (Adaptive Resonance Theory 簡(jiǎn)稱ART) 採(cǎi)用的是動(dòng)態(tài)式的網(wǎng)路架構(gòu)，也就是說，有足夠數(shù)目的類神經(jīng)元等待著被使用 。由適應(yīng)共振理論發(fā)展出來(lái)的，有處理二元值輸入的 ART 1 [3] 及處理連續(xù)信

15、號(hào)的 ART 2 [4]，除此之外，F(xiàn)uzzy ART [7] 及 ARTMAP [8] 也是相關(guān)的網(wǎng)路。,4.3適應(yīng)共振理論 (2),步驟一：設(shè)定所有類神經(jīng)元的初始鍵結(jié)值為構(gòu)成元素都為 1 的向量，亦即 。 步驟二：將輸入向量呈現(xiàn)至網(wǎng)路，若是第一筆資料，則設(shè)定第一個(gè)輸出類神經(jīng)元為得勝者，然後直接跳到步驟六。 步驟三：致能所有曾經(jīng)得勝過的輸出類神經(jīng)元。 步驟四：在所有被致能的類神經(jīng)元中，根據(jù)以下的標(biāo)準(zhǔn)尋找與輸入向量 最接近的類

16、神經(jīng)元，所謂的 “最接近” 就是指 “相似度” 最大，此時(shí)相似度的量測(cè)被定義為 (第一種評(píng)比標(biāo)準(zhǔn))：,(4.6),4.3適應(yīng)共振理論 (3),步驟五：從步驟三中所選出的得勝者 (相似度最大之類神經(jīng)元) ，假設(shè)第 j個(gè)類神經(jīng)元是得勝者，我們?cè)儆玫诙N相似度標(biāo)準(zhǔn)來(lái)量測(cè)得勝的類神經(jīng)元中所儲(chǔ)存的樣本，與輸入向量 x 的相似度是否真的夠大？第二種相似度的量測(cè)被定義為 (第二種評(píng)比標(biāo)準(zhǔn))： 當(dāng)

17、 (? 為評(píng)定輸入向量與樣本間是否相似的警戒參數(shù)) 時(shí)，則代表 wj 與 x 可被視為極為相似，這時(shí)便可執(zhí)行步驟六；否則將第 j 個(gè)類神經(jīng)元取消致能 (disable)，回到步驟四，找尋下一個(gè) 高的類神經(jīng)元。 步驟六：調(diào)整得勝者類神經(jīng)元的鍵結(jié)值。調(diào)整的目標(biāo)是使得 更接近 ： 然後輸出 j，代表此時(shí)的輸入 被分為第 j 類；回到步驟一，重新接受新的輸入。,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識(shí)別 (1),範(fàn)例

18、中的每個(gè)圖樣都是一個(gè) 5?5 的灰階圖 (黑色代表 1，白色代表 0)，我們用25?1的向量來(lái)代表每一個(gè)圖樣，因此網(wǎng)路的輸入層共有 25 個(gè)結(jié)點(diǎn) (類神經(jīng)元)，假設(shè)網(wǎng)路的輸出層共有四個(gè)類神經(jīng)元。,圖4.4：以ART 1進(jìn)行圖樣識(shí)別之輸入圖樣以及分類結(jié)果：(a)，(b) 。,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識(shí)別 (2),首先將網(wǎng)路鍵結(jié)值初始化，並且致能所有的類神經(jīng)元，也就是：我們將警戒參數(shù)設(shè)定於 ?=0.7 和設(shè)定式(4.6

19、)中的 ?=1/2。然後將四個(gè)圖樣一一輸入。(1) 輸入圖樣 A — xA： (2)輸入圖樣 B—xB：,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識(shí)別 (3),(2)輸入圖樣 C—xC：,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識(shí)別 (4),(4) 輸入圖樣 D—xD：,4.3.2ART 1的特性分析 (1),由於 ART 1 處理的輸入是單極性的二元值 (unipolar binary)，所以需要 及 來(lái)確定 與 的

20、 1 與 0 位於相同的位置有多少 ? 另一種變通的方式是計(jì)算漢明距離 (Hamming distance)，即可取代上述的兩種標(biāo)準(zhǔn)。 x=[1100111]T, w1=[1110110]T, w2=[1100100]T, S1(w1, x)=4/5, S1(w2, x)=3/3, S2(w1,x)=4/5, S2(w2, x)=3/5 。,4.3.2ART 1的特性分析(2),若增加警戒參數(shù)值 ? 的大小，則會(huì)導(dǎo)致

21、群聚數(shù)目的增加。警戒參數(shù)值的選定，關(guān)係到整體的分群效果，目前沒有具體的參考標(biāo)準(zhǔn)可以依據(jù)，以便設(shè)定警戒參數(shù)值。若輸入的維度為 P，則 ART 1 可以形成的群聚數(shù)目最大為2P，此乃因?yàn)檩斎胂蛄康木S度為 P，所以最多有2P個(gè)不同的輸入，只要警戒參數(shù) ? 設(shè)得夠大的話，則2P個(gè)輸入便可分成 2P類。,4.3.2ART 1 的網(wǎng)路實(shí)現(xiàn) (1),最底下一層為輸入層 F0，此層的類神經(jīng)元不具資訊處理的能力。中間那一層為 “特徵表現(xiàn)區(qū) (fe

22、ature representation field)” F1，這一層的主要工作是接受來(lái)自 的輸入。最上一層為 “分類表示區(qū) (category representation)” F2，亦稱為 “贏者全拿層 (winner-take-all layer)” 。,圖4.5：ART 1 的網(wǎng)路架構(gòu)。,4.3.2ART 1 的網(wǎng)路實(shí)現(xiàn) (2),1. 增益控制單元 (gain control unit) 2. 特徵表現(xiàn)區(qū) F1

23、 這三種信號(hào)，必須至少有兩個(gè)同時(shí)為 1， uh才會(huì)為 1，否則為 0，這就是所謂的「2/3 規(guī)則」。,4.3.2ART 1 的網(wǎng)路實(shí)現(xiàn) (3),3. 分類表現(xiàn)區(qū) 代表F1的第 h 個(gè)類神經(jīng)元至F2的第 j 個(gè)類神經(jīng)元的鍵結(jié)值，與由上至下的鍵結(jié)值的關(guān)係如下：輸入向量輸入 ART 1 時(shí)，會(huì)透過由下而上的鍵結(jié)值 送至F2。因此，類神經(jīng)元得到的總輸

24、入為,,,4.3.2ART 1 的網(wǎng)路實(shí)現(xiàn) (4),代表的就是F2的第 j 個(gè)類神經(jīng)元所儲(chǔ)存的樣本向量。F2層的類神經(jīng)元便會(huì)根據(jù) 的大小來(lái)競(jìng)爭(zhēng)，以便成為得勝者。當(dāng)有一個(gè)類神經(jīng)元?jiǎng)俪鰰r(shí)，會(huì)導(dǎo)至 G = 0，因此， 。F1的類神經(jīng)元的輸出總合 就與4.3.1節(jié)之步驟五中的

25、 的分子相同，所以,,,,,,,,4.3.2ART 1 的網(wǎng)路實(shí)現(xiàn) (5),4. 重置單元 (reset unit) (1) 若 R = 0，則進(jìn)入所謂的 “共振 (resonance)” 狀態(tài)，亦即 與 之間傳遞的信號(hào)會(huì)反覆出現(xiàn)。 (2) 若 R = 1，則剛才得勝者的那個(gè)類神經(jīng)元會(huì)被取消致能 (disable)，然後剩餘的類神經(jīng)元便彼此競(jìng)爭(zhēng)以爭(zhēng)取勝出的機(jī)會(huì)。,4.4特徵映射,人類的大

26、腦可以依其不同的功能區(qū)分為不同的區(qū)域，舉例來(lái)說，負(fù)責(zé)觸覺、視覺、聽覺等的感應(yīng)器分別對(duì)應(yīng)至大腦皮質(zhì)上的不同區(qū)域 。自我組織特徵映射網(wǎng)路 (self-organizing feature map network，簡(jiǎn)稱為 SOFM 網(wǎng)路或SOM 網(wǎng)路)，是根植於「競(jìng)爭(zhēng)式學(xué)習(xí)」的一種網(wǎng)路。 輸出層的類神經(jīng)元會(huì)根據(jù)輸入向量的「特徵」以有意義的「拓蹼結(jié)構(gòu)」 (topological structure) 展現(xiàn)在輸出空間中 。,4.4.1大腦皮質(zhì)

27、中的特徵映射(1),人類學(xué)家發(fā)現(xiàn)身為靈長(zhǎng)類的我們，之所以比其它哺乳類動(dòng)物具有更高的智慧，是因?yàn)槿祟惔竽X發(fā)展出更高層次的大腦皮質(zhì)。人類的大腦表面，幾乎完全地被一層皮質(zhì)所覆蓋著，這層皮質(zhì)雖然只有大約 2mm 的厚度，但將其展開的表面積可達(dá) 2400 平方公分。大腦約三磅，需五分之一血及氧氣供應(yīng)量。以其複雜程度來(lái)說，大腦皮質(zhì)的結(jié)構(gòu)堪稱為是目前已知的最複雜的系統(tǒng)。,4.4.1大腦皮質(zhì)中的特徵映射(2),人類大腦分成左腦和右腦兩個(gè)半腦，左右

28、兩個(gè)半腦透過胼胝體(corpus callosum) 連接起來(lái)。在大腦裡，除了中央底部的松果體之外，每一模組在兩個(gè)腦半球都各有一個(gè)。由於左右兩半腦的生理結(jié)構(gòu)並非完全相同，左腦有較多之灰質(zhì)(細(xì)胞體組成) ；而右腦卻有較多之白質(zhì)(軸突束組成) ，導(dǎo)致左右兩腦各有不同之功能。一般而言，左腦善於計(jì)算及構(gòu)思；而右腦則與感覺及知覺較有關(guān)係。此外，左腦和身體右半邊的關(guān)係最直接(嗅覺是例外)；右腦則正好相反。,摘自：大腦的秘密檔案 洪蘭 譯,摘自

29、：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,黑猩猩的大腦在子宮裡就幾乎發(fā)展完成，但人類則於出生後又持續(xù)發(fā)展。,4.4.1大腦皮質(zhì)中的特徵映射(3),許多大腦的研究已確定腦部確實(shí)有某種程度的局部化。但大多數(shù)的腦功能仍需不同部位的皮質(zhì)一同合作，才能正常運(yùn)作，所以大腦也並非絕對(duì)地局部化。大部份的皮質(zhì)是用來(lái)做感覺處理，只有額葉負(fù)

30、責(zé)做非感覺處理；尤其特別的是，每一種感覺在大腦都有特定部位負(fù)責(zé)處理。圖4.10所示為大腦皮質(zhì)的結(jié)構(gòu)圖，其中不同區(qū)域的劃分是以其不同的皮質(zhì)厚度以及不同種類的神經(jīng)元來(lái)加以區(qū)分。,4.4.1大腦皮質(zhì)中的特徵映射(4),我們可以發(fā)現(xiàn)不同的感應(yīng)器輸入，會(huì)以某種特定的方式，映射至大腦皮質(zhì)上不同的區(qū)域，這種映射關(guān)係並不是天生就固定不變的，而是在神經(jīng)系統(tǒng)的發(fā)展初期時(shí)所決定的。許多人相信，基因並無(wú)法完全主導(dǎo)神經(jīng)元的連接模式來(lái)達(dá)成此種拓樸結(jié)構(gòu)，很可能有

31、許多不同的機(jī)制 (mechanisms)，一同參與此種發(fā)展，其中“學(xué)習(xí)”與“制約” (conditioning)，最可能參與拓樸映射圖形成的過程。,4.4.1大腦皮質(zhì)中的特徵映射(5),一旦映射圖形成之後，神經(jīng)系統(tǒng)就能夠很有彈性地處理外界的各種刺激。即使大腦皮質(zhì)上的特徵映射關(guān)係形成後，在某種程度上來(lái)說，這些映射關(guān)係仍然是可以改變的，以適應(yīng)外界或是感應(yīng)器輸入的變化，而其可以改變的程度，則視不同的系統(tǒng)而有不同的「可塑性」。 左半腦切除手

32、術(shù) 。每?jī)扇f(wàn)五千人中，有可能會(huì)有一人會(huì)得到「感官相連癥」 。,4.4.1大腦皮質(zhì)中的特徵映射 (2),大腦皮質(zhì)上採(cǎi)用特徵映射的好處是 ： 有效地處理資訊 易於存取資訊 共同的資訊表示方式,圖4.6：大腦皮質(zhì)結(jié)構(gòu)圖。其中，1.腿; 2.軀幹; 3.手臂; 4.頸; 5.面部; 6.舌、語(yǔ)言; 7.味覺; 8.聽覺; 9.知覺; 10.觸覺;,4.4.1大腦皮質(zhì)中的特徵映射(6),大腦皮質(zhì)上採(cǎi)用特徵映射的好處是 ：有效地處理資

33、訊 易於存取資訊加快對(duì)傳入訊息的辨識(shí)速度：倘若沒有映射圖的存在，任何的刺激都可能產(chǎn)生多重感官的認(rèn)知。譬如說，我們眼前出現(xiàn)黃蜂，這個(gè)刺激會(huì)被感受成味覺、嗅覺、及聽覺等感知，等到大腦產(chǎn)生要我們小心的認(rèn)知時(shí)，我們可能已伸手想品嚐誤以為是美味的食物，而被它螯得痛死了[12]。易於系統(tǒng)的交互作用：,,摘自：大腦的秘密檔案 洪蘭 譯,4.4.2側(cè)向聯(lián)結(jié) (1),特徵映射圖形成的原因，除了非監(jiān)督式學(xué)習(xí)是個(gè)重要關(guān)鍵之外，“側(cè)向聯(lián)結(jié)”也是不可或缺

34、的要素之一。在許多生物的腦部組織中會(huì)有大量的神經(jīng)元，彼此之間有側(cè)向聯(lián)接，側(cè)向聯(lián)結(jié)的回饋量，通常是以「墨西哥帽函數(shù)」來(lái)代表 。一、具有一短距離的側(cè)向激發(fā)作用區(qū)域 (半徑約 50 至 100 微米)，圖中標(biāo)示為 1 的區(qū)域。 二、具有一較大的側(cè)向抑制作用區(qū)域 (半徑約 200 至 500 微米)，圖中標(biāo)示為 2 的區(qū)域。 三、一個(gè)強(qiáng)度較小的激發(fā)作用區(qū)域，其涵蓋區(qū)域包圍著抑制區(qū)域 (半徑可達(dá)好幾公分)，圖中標(biāo)示為 3

35、 的區(qū)域。,圖4.7：墨西哥帽函數(shù)。,4.4.2側(cè)向聯(lián)結(jié) (2),由圖4.8所示的類神經(jīng)網(wǎng)路有兩項(xiàng)重要的特徵：第一個(gè)是網(wǎng)路的反應(yīng)會(huì)集中於一小區(qū)域稱之為「活化氣泡」(activity bubbles) 的範(fàn)圍內(nèi)；第二個(gè)是產(chǎn)生活化氣泡的位置是由輸入向量的特徵所決定。,圖4.8：一維陣列結(jié)構(gòu)之側(cè)向聯(lián)結(jié)。,圖4.9：式(4.35)所表示的回授系統(tǒng)。,範(fàn)例4.3：活化氣泡的電腦模擬 (1),圖4.10：簡(jiǎn)化之墨西哥帽函數(shù)。,圖4.11：簡(jiǎn)化之活

36、化函數(shù)。,範(fàn)例4.3：活化氣泡的電腦模擬 (2),圖4.12：不同的回授因子所產(chǎn)生之活化氣泡；(a); (b)。 (本圖摘自：S. Haykin, Neural Networks : A Comprehensive Foundation, 1994),4.4.3自我組織特徵映射演算法 (1),自我組織特徵映射演算法的主要目標(biāo)，就是以特徵映射的方式，將任意維度的輸入向量，映射至一維或二維的特徵映射圖上。“贏者全拿”的競(jìng)爭(zhēng)式學(xué)習(xí)法，無(wú)法

37、發(fā)展出拓樸映射圖。藉由定義“鄰近區(qū)域”函數(shù)的方法，來(lái)表現(xiàn)活化氣泡的基本精神，以取代較複雜的側(cè)向聯(lián)接的回授功能。,圖4.13：二維矩陣之自我組織特徵映射模型。,4.4.3自我組織特徵映射演算法 (2),步驟一、初始化：將鍵結(jié)值向量 wj(0)，以隨機(jī)方式設(shè)定其值，但須注意所 有的 N 個(gè)鍵結(jié)值向量之初始值都應(yīng)不同，而 N 是類神經(jīng)元的個(gè)數(shù)。 步驟二、輸入呈現(xiàn)：從訓(xùn)練集中隨機(jī)選取一筆資料輸入此網(wǎng)路

38、。 步驟三、篩選得勝者類神經(jīng)元：以最小歐幾里德距離的方式找出，在時(shí)間 n 的得勝者類神經(jīng)元 j*： 步驟四、調(diào)整鍵結(jié)值向量：以下列公式調(diào)整所有類神經(jīng)元的鍵結(jié)值向量： 其中 ? 是學(xué)習(xí)率參數(shù)， 是得勝者類神經(jīng)元 的鄰近區(qū)域， 兩者都是時(shí)間 n 的函數(shù)。 步驟五、回到步驟二，直到特徵映射

39、圖形成時(shí)才終止演算法。,4.4.4參數(shù)的選擇,學(xué)習(xí)率參數(shù) ：Kohonen建議 就是一個(gè)合理的選擇。 鄰域函數(shù)：鄰近區(qū)域函數(shù)通常採(cǎi)用包圍著得勝者類神經(jīng)元 j* 的正方形的型式。鄰近區(qū)域的設(shè)定，應(yīng)於一開始時(shí)包括全部的類神經(jīng)元，然後隨著時(shí)間的增加而慢慢縮減鄰近區(qū)域的大小 。學(xué)習(xí)次數(shù)： Kohonen建議學(xué)習(xí)過程的次數(shù)大約可以設(shè)定為網(wǎng)路中類神經(jīng)元個(gè)數(shù)的500倍以上。

40、在每一次的學(xué)習(xí)循環(huán)中，應(yīng)該將資料輸入至網(wǎng)路的次序打亂，以得到較好的數(shù)理統(tǒng)計(jì)特性。,圖4.14：鄰近區(qū)域函數(shù)：(a) 正方形; (b) 六邊形的型式。,4.4.5改良方法,我們將得勝者類神經(jīng)元 j* 的鄰近區(qū)域函數(shù) ?j* ，依側(cè)向聯(lián)結(jié)的距離予以遞減，令 ?j,j* 代表第 j 個(gè)類神經(jīng)元與得勝者類神經(jīng)元 j* 的側(cè)向聯(lián)結(jié)距離，其距離的計(jì)算方式是以輸出空間 A 中，與第 j* 個(gè)類神經(jīng)元的歐幾里德距離，令 dj,j* 代表得勝者類神經(jīng)元

41、 j* 的鄰近區(qū)域函數(shù)的強(qiáng)度，由於鄰近區(qū)域函數(shù)的強(qiáng)度 是側(cè)向聯(lián)結(jié)距離 的函數(shù)，因此我們可以發(fā)現(xiàn) 鍵結(jié)值向量的調(diào)整公式修正為：,圖4.20：高斯型式之鄰近區(qū)域函數(shù)。,良心機(jī)構(gòu)(conscience mechanism),使得所有的類神經(jīng)元，能有較均等的機(jī)會(huì)成為得勝者，以免得網(wǎng)路會(huì)因初始值設(shè)定的不良，而導(dǎo)致不良的結(jié)果。步驟一、經(jīng)由下式找出最接近輸入向量 的鍵結(jié)值向量 ： 步驟二、令 為第 j 個(gè)類神經(jīng)元

42、成為得勝者的機(jī)率，則： 步驟三、使用良心機(jī)構(gòu)找出新的得勝者類神經(jīng)元： 步驟四、調(diào)整得勝者類神經(jīng)元的鍵結(jié)值向量：,範(fàn)例4.4 均勻分佈之資料的自我組織特徵映射圖 (1),我們使用100個(gè)類神經(jīng)元排列成10×10的二維矩陣來(lái)進(jìn)行電腦模擬，用來(lái)進(jìn)行測(cè)試的輸入向量 的維度也是二維的資料，且其機(jī)率分佈為均勻地分佈在 。,圖

43、4.17：均勻分佈之資料的自我組織特徵映射圖：(a)隨機(jī)設(shè)定之初始鍵結(jié)值向量;(b)經(jīng)過50次疊代後之鍵結(jié)值向量;(c) 經(jīng)過1,000次疊代後之鍵結(jié)值向量;(d) 經(jīng)過10,000次疊代後之鍵結(jié)值向量;(e) 訓(xùn)練過程中，網(wǎng)子打結(jié)的情形; (f) 訓(xùn)練過程中，網(wǎng)子纏繞的情形。,範(fàn)例4.4 均勻分佈之資料的自我組織特徵映射圖 (2),如果我們將輸入資料均勻地分佈至三角形的區(qū)域，網(wǎng)路經(jīng)過充分的訓(xùn)練之後，可以得到如圖4.18(a)的拓蹼映

44、射圖。又如果此時(shí)將原本10×10的二維網(wǎng)路架構(gòu)改成100×1的一維網(wǎng)路架構(gòu)。,圖4.18：(a) 10×10的拓蹼映射圖；(b) 100×1的拓蹼映射圖。,範(fàn)例4.5非均勻分佈之資料,類神經(jīng)元在特徵映射圖中的機(jī)率分佈，的確可以反應(yīng)出輸入向量的機(jī)率分佈。這裏要強(qiáng)調(diào)一點(diǎn)的是，資料的機(jī)率分佈特性並非是線性地反應(yīng)於映射圖中。,圖4.19：三群高斯分佈之資料。,4.4.6特徵映射圖之應(yīng)用,特徵映射圖的

45、應(yīng)用可從兩方面來(lái)看： 藉由電腦模擬的驗(yàn)證，可以用來(lái)佐證人腦的映射圖的形成假設(shè)[16]-[17]。 可利用特徵映射圖來(lái)解決許多工程方面的問題，如：機(jī)器人手臂控制[18]、群聚分析[19]-[22]、及向量量化[23]等，有心的讀者可以參考文獻(xiàn)[12]，[24]，以便能進(jìn)一步的瞭解特徵映射圖，因?yàn)檫@些文獻(xiàn)詳盡地介紹特徵映射圖於工程上的各種應(yīng)用。,範(fàn)例4.7：應(yīng)用特徵映射圖於語(yǔ)音辨識(shí),應(yīng)用特徵映射圖於語(yǔ)音辨識(shí) : Kohonen 曾經(jīng)利用

46、芬蘭語(yǔ)的音素 ，訓(xùn)練出一個(gè) 8?12 的類神經(jīng)元矩陣，經(jīng)過此校正的加標(biāo)過程後，得到圖4.21 的音素映射圖，從此圖可以讓我們很清楚地看到，音素的頻譜特徵向量有群聚效果，而此圖的用途，可用於語(yǔ)言“治療” (therapy) 或訓(xùn)練。 事實(shí)上，此圖的終極用途是希望能解決語(yǔ)音辨認(rèn)的問題。經(jīng)過加標(biāo)過程後的特徵映射圖，可被用來(lái)當(dāng)作是分類器使用，當(dāng)輸入送進(jìn)網(wǎng)路後，我們可用得勝者之加標(biāo)符號(hào)將此輸入予以分類。此種將特徵映射圖當(dāng)作分類器使用的作法，基本

47、上是對(duì)每一類別用多個(gè)樣本(templates) (即類神經(jīng)元之鍵結(jié)值向量) 來(lái)代表。,圖4.21：芬蘭語(yǔ)之音素映射圖。,範(fàn)例4.8：應(yīng)用特徵映射圖於群聚分析 (1),如何從訓(xùn)練好的特徵映射圖中得到分群資訊是一大挑戰(zhàn)。Ultsh 和Siemon 提出U-matrix 方法[19]、以及Kraaijveld 等人提出了一種將特徵映射圖轉(zhuǎn)換為灰階影像以利肉眼判讀出群聚資訊的方法 [20]。 在訓(xùn)練完SOM的網(wǎng)路後，求出每一個(gè)神經(jīng)元與其上下左

48、右的四個(gè)鄰居的神經(jīng)元的距離 (神經(jīng)元間的距離是以鍵結(jié)值向量間的歐基里德距離為準(zhǔn)) ，然後，取其最大值當(dāng)作該神經(jīng)元的強(qiáng)度，距離越大則該神經(jīng)元於灰階影像的灰階值越大(越亮)。因此，若影像中有被白色環(huán)繞之黑色區(qū)塊出現(xiàn)時(shí)，則該黑色區(qū)塊很可能就代表一個(gè)群聚的存在。,圖4.26：灰階影像以利肉眼判讀出群聚資訊的方法。,範(fàn)例4.8：應(yīng)用特徵映射圖於群聚分析 (2),在原本的SOM網(wǎng)路架構(gòu)中加入「調(diào)整類神經(jīng)元之平面位置向量」的概念，以反應(yīng)出資料間的拓樸

49、關(guān)係，進(jìn)而提供我們更多有關(guān)於資料集合中的群聚資訊。DSOM在特徵映射圖的形成過程中，除了會(huì)調(diào)整鍵結(jié)值向量外，也會(huì)一起調(diào)整平面位置向量，兩者交互進(jìn)行。如此一來(lái)，不但可以得到傳統(tǒng)的由鍵結(jié)值向量所組成之特徵映射圖，還可以得到由平面位置向量所形成之神經(jīng)元移動(dòng)軌跡圖。從移動(dòng)軌跡圖中，使用者便可以估測(cè)出資料的群聚資訊，以輔助我們判斷群聚之?dāng)?shù)目及其幾何特性。,,圖4.27：雙自我組織特徵映射圖（DSOM）判讀出群聚資訊的方法(本圖摘自[22])

50、。,4.4.6特徵映射圖之應(yīng)用(3),4.5學(xué)習(xí)向量量化 (1),LVQ網(wǎng)路的訓(xùn)練使用加標(biāo)的資訊 (category information)，而競(jìng)爭(zhēng)式學(xué)習(xí)網(wǎng)路則沒有這類的期望輸出值。LVQ網(wǎng)路則可採(cǎi)用多個(gè)樣本向量來(lái)代表同一分類(class)。LVQ網(wǎng)路的訓(xùn)練過程分成兩個(gè)階段:第一階段是採(cǎi)用非監(jiān)督式學(xué)習(xí)法 : 分群的方法可以是競(jìng)爭(zhēng)式學(xué)習(xí)法或其它群聚分析法如k-means演繹法，接著我們利用加標(biāo)資訊將這些群聚予以加標(biāo)，使用“多數(shù)

51、制”的投票法將群聚加標(biāo)，也就是說，這個(gè)群聚所涵蓋的圖樣以那一種分類(class)為最多，則這個(gè)群聚就被標(biāo)示為那個(gè)分類，群聚經(jīng)此加標(biāo)過程之後。第二階段 監(jiān)督式學(xué)習(xí)法，使用加標(biāo)的圖樣將群聚位置予以細(xì)調(diào)。,4.5學(xué)習(xí)向量量化 (2),步驟一、利用群聚演繹法(clustering algorithm)(如：競(jìng)爭(zhēng)式學(xué)習(xí)法和k-means演繹法等)來(lái)將圖樣的群聚中心位置找到，並以這些位置來(lái)初始化類神經(jīng)元的鍵結(jié)值。 步驟二、利用“多數(shù)制”的

52、投票法將類神經(jīng)元予以加標(biāo)。 步驟三、隨機(jī)選取加標(biāo)過的資料(圖樣 x)輸入至網(wǎng)路，並根據(jù)下式找出得勝者 j*步驟四、調(diào)整得勝者類神經(jīng)元的鍵結(jié)值 步驟五、若疊代次數(shù)已超過限制或鍵結(jié)值已收斂則停止訓(xùn)練，否則回到步驟三。,範(fàn)例4.7 學(xué)習(xí)向量量化 (1),?=0.1,範(fàn)例4.7 學(xué)習(xí)向量量化 (2),,4.6結(jié)語(yǔ),我們介紹了幾種以非監(jiān)督式學(xué)習(xí)為架構(gòu)的類神經(jīng)網(wǎng)路，此種架構(gòu)的類神經(jīng)網(wǎng)路最適合用來(lái)分析資料的群聚關(guān)係，在沒有任