第四章、非監(jiān)督式類神經(jīng)網(wǎng)路

1、第四章,非監(jiān)督式類神經(jīng)網(wǎng)路,4.1 簡介,非監(jiān)督式的類神經(jīng)網(wǎng)路在缺乏期望輸出值的情況下，能夠自行發(fā)掘出資料中的那些特徵是重要的或是可忽略的，以便將資料作“群聚” (clustering) 的處理。此種類神經(jīng)網(wǎng)路經(jīng)常被用來作為前處理單元 (preprocessing unit)，以便萃取出資料的特徵，或?qū)①Y料做向量量化 (vector quantization) 之後，再配合監(jiān)督式學(xué)習(xí)法，便可完成圖樣識別 (pattern recogn

2、ition) 的任務(wù)。基本上，此類型的網(wǎng)路，其類神經(jīng)元的輸出值所代表的意義是，此類神經(jīng)元對於目前輸入網(wǎng)路的資料，其熟悉程度有多高？熟悉程度的高低，則取決於目前資料與過去網(wǎng)路所見過的一些已經(jīng)形成範(fàn)例的資料，彼此之間的相似度有多大？而量測相似度的方法，則依據(jù)各種不同的非監(jiān)督式類神經(jīng)網(wǎng)路，有各自的考量。,4.2競爭式學(xué)習(xí)演算法則 (1),除了來自生物現(xiàn)象的動機之外，在群聚分析 (clustering analysis) 的問題上，我們會需

3、要非監(jiān)督式的學(xué)習(xí)法來發(fā)掘出資料本身所具備的結(jié)構(gòu)。 在類神經(jīng)網(wǎng)路中有兩種實現(xiàn)非監(jiān)督式學(xué)習(xí)法的演繹法則： 1. Hebbian 學(xué)習(xí)規(guī)則 ? 通常不是被用來分析資料間的群聚關(guān)係或被用來將資料分類；反而是被用來量測資料間的相似性或分析出資料中的“主要成份向量 (principle components)”。 2. 競爭式學(xué)習(xí)法則 ? 使用競爭式學(xué)習(xí)法的類神經(jīng)網(wǎng)路，只有其中的一個類神經(jīng)元會被活化，這個被活化的類神經(jīng)元就稱為“得勝者 (w

4、inner)”類神經(jīng)元。這種類神經(jīng)網(wǎng)路通常是被用來作群聚分析，在沒有事先的分類資訊下，去發(fā)覺資料中本身的結(jié)構(gòu)及群聚關(guān)係。,群聚分析 (1),群聚分析是用來探索資料中資料群聚結(jié)構(gòu)的一種工具，其目的主要是將相似的資料歸類在同一群聚中。透過分群演算法所得到的這些群聚，可以用來解釋原始資料的分布與特性。有關(guān)群聚分析的研究，仍有待解決的問題有下列幾項：(1)  如何決定相似度？(2)  如何決定群聚的數(shù)目？(3)

5、如何決定哪個分群的結(jié)果是較理想的？,群聚分析 (2),不同的相似度會導(dǎo)致所形成之群聚幾何特性不同。若用歐基里德距離 ，( 代表資料點而 代表群聚中心向量)，來當(dāng)相似度 (距離越小則相似度越高)，則會形成大小相似且緊密之圓形群聚。 若用 來當(dāng)相似度( 值越大則相似度越高，其中 代表夾角)，則會形成同一角度之狹長形群聚。 倘若採用的是

6、 (值越大則相似度越高)，則並不一定會形成同一角度之狹長形群聚，因為 和 的大小不同，會導(dǎo)致即使它們幾乎同一角度，但 值還是有很大之差異。,,,,,,,,,,,4.2競爭式學(xué)習(xí)演算法則 (2),競爭式學(xué)習(xí)法 (此法有時被稱為Kohonen學(xué)習(xí)規(guī)則或贏者全拿學(xué)習(xí)規(guī)則 (winner-take-all learning rule)) 的單層類神經(jīng)網(wǎng)路，如圖4.1所示,圖4.1

7、：競爭式學(xué)習(xí)法之網(wǎng)路架構(gòu)。,4.2競爭式學(xué)習(xí)演算法則 (3),競爭式學(xué)習(xí)法的執(zhí)行分為兩個階段： 步驟一：競爭階段 (competitive phase) ? 選出得勝者 1. 若活化函數(shù) 為嚴格遞增型的函數(shù)(如sigmoid 函數(shù)或線性函數(shù)) 如果鍵結(jié)向量 都被正規(guī)化為長度為 1 的基本向量 2. 若活化函數(shù) 為高斯型基底函數(shù)，則在不需任何

8、其它條件下，式(4.1) 可以直接重寫為：,(4.1),(4.2),(4.3),(4.4),,,,,4.2競爭式學(xué)習(xí)演算法則 (4),步驟二：獎勵階段(reward phase)?調(diào)整得勝者的鍵結(jié)向量 步驟三：疊代階段(reward phase)?檢查停止訓(xùn)練條件是否吻合 如果鍵結(jié)值向量的改變量小於事先設(shè)定之閥值，或則疊代次數(shù)到達事先設(shè)定之上限，則停止訓(xùn)練；否則，回到步驟一，繼續(xù)訓(xùn)練。,4.2競爭式學(xué)習(xí)演算法則 (5)

9、,,,圖4.2 :鍵結(jié)值向量調(diào)整公式的幾何說明。,範(fàn)例4.1：競爭式學(xué)習(xí)法則 (1),假設(shè)學(xué)習(xí)率，網(wǎng)路由兩個類神經(jīng)元所組成，類神經(jīng)元的鍵結(jié)值初始值分別為： 以及 。,,,,範(fàn)例4.1：競爭式學(xué)習(xí)法則 (2),歐基里德距離,範(fàn)例4.1：競爭式學(xué)習(xí)法則 (3),值,,範(fàn)例4.1：競爭式學(xué)習(xí)法則 (4),內(nèi)積,,,,圖4.6 : 以內(nèi)積為得勝者選取標準的分群結(jié)果。,圖4.5 : 以cos值為

10、得勝者選取標準的分群結(jié)果。,圖4.4 : 以歐基里德為得勝者選取標準的分群結(jié)果。,4.2競爭式學(xué)習(xí)演算法則 (6),我們將競爭式學(xué)習(xí)法的特性分析如下： 鍵結(jié)向量的初始化會影響到學(xué)習(xí)的最後效果，而這個問題的解決方式有：  (1) 將所有類神經(jīng)元的鍵結(jié)向量隨機初始化為一部份的輸入向量。(2) 加入良心機構(gòu) 。 (3) 在獎勵階段時，所有的類神經(jīng)元的鍵結(jié)向量都予以調(diào)整，但

11、 得 勝者調(diào)整得最多。 類神經(jīng)元的數(shù)目必須由使用者設(shè)定，因此如果設(shè)定的不對 (即不等於實際資料的群聚數(shù)目)，則會將資料錯誤地歸類。,圖4.3：鍵結(jié)值向量之初始化對競爭式學(xué)習(xí)法之影響：其中 將永遠得不到被調(diào)整的機會。,K-means 演算法,步驟一：設(shè)定群聚目K>0，以及群聚中心的初始中心位 置 ，其中 。 步驟二：將訓(xùn)練資

12、料 ，依據(jù)它們與各個群聚中心的距離 (可以用一般的歐基里德距離或是其它距離量測)遠近，分配到最近的群聚中心。 步驟三：依據(jù)下式來更新群聚中心位置： 其中代表所有被歸類於第個群聚的資料集合，代表屬於的資料個數(shù)。 步驟四：如果 ( ? 是一個事先給定的正實數(shù))，或資料的歸類與前一

13、次疊代過程相同，又或者是疊代次數(shù)超過某一上限，那麼就停止運算，否則，回到步驟二，繼續(xù)疊代。,競爭式學(xué)習(xí)法與K-means 演算法之比較,競爭式學(xué)習(xí)法比K-means 演算法更受資料順序所影響。競爭式學(xué)習(xí)法是圖樣學(xué)習(xí)，而K-means 演算法是批次學(xué)習(xí)。競爭式學(xué)習(xí)法所得到之鍵結(jié)值不一定是群聚中心，但K-means 演算法卻是。,4.3適應(yīng)共振理論 (1),“穩(wěn)定性與可塑性的進退兩難論 (stability and plasticit

14、y dilemma)” 。這個學(xué)習(xí)系統(tǒng)要有足夠的穩(wěn)定性來抗拒環(huán)境中不相干的干擾或事件，但又要有足夠的可塑性以便能夠快速地改變及學(xué)習(xí)，來因應(yīng)環(huán)境的變化，也就是說，要能夠快速學(xué)習(xí)，但又不會洗去舊有的記憶。 適應(yīng)共振理論 (Adaptive Resonance Theory 簡稱ART) 採用的是動態(tài)式的網(wǎng)路架構(gòu)，也就是說，有足夠數(shù)目的類神經(jīng)元等待著被使用 。由適應(yīng)共振理論發(fā)展出來的，有處理二元值輸入的 ART 1 [3] 及處理連續(xù)信

15、號的 ART 2 [4]，除此之外，F(xiàn)uzzy ART [7] 及 ARTMAP [8] 也是相關(guān)的網(wǎng)路。,4.3適應(yīng)共振理論 (2),步驟一：設(shè)定所有類神經(jīng)元的初始鍵結(jié)值為構(gòu)成元素都為 1 的向量，亦即 。 步驟二：將輸入向量呈現(xiàn)至網(wǎng)路，若是第一筆資料，則設(shè)定第一個輸出類神經(jīng)元為得勝者，然後直接跳到步驟六。 步驟三：致能所有曾經(jīng)得勝過的輸出類神經(jīng)元。 步驟四：在所有被致能的類神經(jīng)元中，根據(jù)以下的標準尋找與輸入向量 最接近的類

16、神經(jīng)元，所謂的 “最接近” 就是指 “相似度” 最大，此時相似度的量測被定義為 (第一種評比標準)：,(4.6),4.3適應(yīng)共振理論 (3),步驟五：從步驟三中所選出的得勝者 (相似度最大之類神經(jīng)元) ，假設(shè)第 j個類神經(jīng)元是得勝者，我們再用第二種相似度標準來量測得勝的類神經(jīng)元中所儲存的樣本，與輸入向量 x 的相似度是否真的夠大？第二種相似度的量測被定義為 (第二種評比標準)： 當(dāng)

17、 (? 為評定輸入向量與樣本間是否相似的警戒參數(shù)) 時，則代表 wj 與 x 可被視為極為相似，這時便可執(zhí)行步驟六；否則將第 j 個類神經(jīng)元取消致能 (disable)，回到步驟四，找尋下一個 高的類神經(jīng)元。 步驟六：調(diào)整得勝者類神經(jīng)元的鍵結(jié)值。調(diào)整的目標是使得 更接近 ： 然後輸出 j，代表此時的輸入 被分為第 j 類；回到步驟一，重新接受新的輸入。,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識別 (1),範(fàn)例

18、中的每個圖樣都是一個 5?5 的灰階圖 (黑色代表 1，白色代表 0)，我們用25?1的向量來代表每一個圖樣，因此網(wǎng)路的輸入層共有 25 個結(jié)點 (類神經(jīng)元)，假設(shè)網(wǎng)路的輸出層共有四個類神經(jīng)元。,圖4.4：以ART 1進行圖樣識別之輸入圖樣以及分類結(jié)果：(a)，(b) 。,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識別 (2),首先將網(wǎng)路鍵結(jié)值初始化，並且致能所有的類神經(jīng)元，也就是：我們將警戒參數(shù)設(shè)定於 ?=0.7 和設(shè)定式(4.6

19、)中的 ?=1/2。然後將四個圖樣一一輸入。(1) 輸入圖樣 A — xA： (2)輸入圖樣 B—xB：,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識別 (3),(2)輸入圖樣 C—xC：,範(fàn)例4.2 ART 1 網(wǎng)路應(yīng)用於圖樣識別 (4),(4) 輸入圖樣 D—xD：,4.3.2ART 1的特性分析 (1),由於 ART 1 處理的輸入是單極性的二元值 (unipolar binary)，所以需要 及 來確定 與 的

20、 1 與 0 位於相同的位置有多少 ? 另一種變通的方式是計算漢明距離 (Hamming distance)，即可取代上述的兩種標準。 x=[1100111]T, w1=[1110110]T, w2=[1100100]T, S1(w1, x)=4/5, S1(w2, x)=3/3, S2(w1,x)=4/5, S2(w2, x)=3/5 。,4.3.2ART 1的特性分析(2),若增加警戒參數(shù)值 ? 的大小，則會導(dǎo)致

21、群聚數(shù)目的增加。警戒參數(shù)值的選定，關(guān)係到整體的分群效果，目前沒有具體的參考標準可以依據(jù)，以便設(shè)定警戒參數(shù)值。若輸入的維度為 P，則 ART 1 可以形成的群聚數(shù)目最大為2P，此乃因為輸入向量的維度為 P，所以最多有2P個不同的輸入，只要警戒參數(shù) ? 設(shè)得夠大的話，則2P個輸入便可分成 2P類。,4.3.2ART 1 的網(wǎng)路實現(xiàn) (1),最底下一層為輸入層 F0，此層的類神經(jīng)元不具資訊處理的能力。中間那一層為 “特徵表現(xiàn)區(qū) (fe

22、ature representation field)” F1，這一層的主要工作是接受來自 的輸入。最上一層為 “分類表示區(qū) (category representation)” F2，亦稱為 “贏者全拿層 (winner-take-all layer)” 。,圖4.5：ART 1 的網(wǎng)路架構(gòu)。,4.3.2ART 1 的網(wǎng)路實現(xiàn) (2),1. 增益控制單元 (gain control unit) 2. 特徵表現(xiàn)區(qū) F1

23、 這三種信號，必須至少有兩個同時為 1， uh才會為 1，否則為 0，這就是所謂的「2/3 規(guī)則」。,4.3.2ART 1 的網(wǎng)路實現(xiàn) (3),3. 分類表現(xiàn)區(qū) 代表F1的第 h 個類神經(jīng)元至F2的第 j 個類神經(jīng)元的鍵結(jié)值，與由上至下的鍵結(jié)值的關(guān)係如下：輸入向量輸入 ART 1 時，會透過由下而上的鍵結(jié)值 送至F2。因此，類神經(jīng)元得到的總輸

24、入為,,,4.3.2ART 1 的網(wǎng)路實現(xiàn) (4),代表的就是F2的第 j 個類神經(jīng)元所儲存的樣本向量。F2層的類神經(jīng)元便會根據(jù) 的大小來競爭，以便成為得勝者。當(dāng)有一個類神經(jīng)元勝出時，會導(dǎo)至 G = 0，因此， 。F1的類神經(jīng)元的輸出總合 就與4.3.1節(jié)之步驟五中的

25、 的分子相同，所以,,,,,,,,4.3.2ART 1 的網(wǎng)路實現(xiàn) (5),4. 重置單元 (reset unit) (1) 若 R = 0，則進入所謂的 “共振 (resonance)” 狀態(tài)，亦即 與 之間傳遞的信號會反覆出現(xiàn)。 (2) 若 R = 1，則剛才得勝者的那個類神經(jīng)元會被取消致能 (disable)，然後剩餘的類神經(jīng)元便彼此競爭以爭取勝出的機會。,4.4特徵映射,人類的大

26、腦可以依其不同的功能區(qū)分為不同的區(qū)域，舉例來說，負責(zé)觸覺、視覺、聽覺等的感應(yīng)器分別對應(yīng)至大腦皮質(zhì)上的不同區(qū)域 。自我組織特徵映射網(wǎng)路 (self-organizing feature map network，簡稱為 SOFM 網(wǎng)路或SOM 網(wǎng)路)，是根植於「競爭式學(xué)習(xí)」的一種網(wǎng)路。 輸出層的類神經(jīng)元會根據(jù)輸入向量的「特徵」以有意義的「拓蹼結(jié)構(gòu)」 (topological structure) 展現(xiàn)在輸出空間中 。,4.4.1大腦皮質(zhì)

27、中的特徵映射(1),人類學(xué)家發(fā)現(xiàn)身為靈長類的我們，之所以比其它哺乳類動物具有更高的智慧，是因為人類大腦發(fā)展出更高層次的大腦皮質(zhì)。人類的大腦表面，幾乎完全地被一層皮質(zhì)所覆蓋著，這層皮質(zhì)雖然只有大約 2mm 的厚度，但將其展開的表面積可達 2400 平方公分。大腦約三磅，需五分之一血及氧氣供應(yīng)量。以其複雜程度來說，大腦皮質(zhì)的結(jié)構(gòu)堪稱為是目前已知的最複雜的系統(tǒng)。,4.4.1大腦皮質(zhì)中的特徵映射(2),人類大腦分成左腦和右腦兩個半腦，左右

28、兩個半腦透過胼胝體(corpus callosum) 連接起來。在大腦裡，除了中央底部的松果體之外，每一模組在兩個腦半球都各有一個。由於左右兩半腦的生理結(jié)構(gòu)並非完全相同，左腦有較多之灰質(zhì)(細胞體組成) ；而右腦卻有較多之白質(zhì)(軸突束組成) ，導(dǎo)致左右兩腦各有不同之功能。一般而言，左腦善於計算及構(gòu)思；而右腦則與感覺及知覺較有關(guān)係。此外，左腦和身體右半邊的關(guān)係最直接(嗅覺是例外)；右腦則正好相反。,摘自：大腦的秘密檔案 洪蘭 譯,摘自

29、：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,黑猩猩的大腦在子宮裡就幾乎發(fā)展完成，但人類則於出生後又持續(xù)發(fā)展。,4.4.1大腦皮質(zhì)中的特徵映射(3),許多大腦的研究已確定腦部確實有某種程度的局部化。但大多數(shù)的腦功能仍需不同部位的皮質(zhì)一同合作，才能正常運作，所以大腦也並非絕對地局部化。大部份的皮質(zhì)是用來做感覺處理，只有額葉負

30、責(zé)做非感覺處理；尤其特別的是，每一種感覺在大腦都有特定部位負責(zé)處理。圖4.10所示為大腦皮質(zhì)的結(jié)構(gòu)圖，其中不同區(qū)域的劃分是以其不同的皮質(zhì)厚度以及不同種類的神經(jīng)元來加以區(qū)分。,4.4.1大腦皮質(zhì)中的特徵映射(4),我們可以發(fā)現(xiàn)不同的感應(yīng)器輸入，會以某種特定的方式，映射至大腦皮質(zhì)上不同的區(qū)域，這種映射關(guān)係並不是天生就固定不變的，而是在神經(jīng)系統(tǒng)的發(fā)展初期時所決定的。許多人相信，基因並無法完全主導(dǎo)神經(jīng)元的連接模式來達成此種拓樸結(jié)構(gòu)，很可能有

31、許多不同的機制 (mechanisms)，一同參與此種發(fā)展，其中“學(xué)習(xí)”與“制約” (conditioning)，最可能參與拓樸映射圖形成的過程。,4.4.1大腦皮質(zhì)中的特徵映射(5),一旦映射圖形成之後，神經(jīng)系統(tǒng)就能夠很有彈性地處理外界的各種刺激。即使大腦皮質(zhì)上的特徵映射關(guān)係形成後，在某種程度上來說，這些映射關(guān)係仍然是可以改變的，以適應(yīng)外界或是感應(yīng)器輸入的變化，而其可以改變的程度，則視不同的系統(tǒng)而有不同的「可塑性」。 左半腦切除手

32、術(shù) 。每兩萬五千人中，有可能會有一人會得到「感官相連癥」 。,4.4.1大腦皮質(zhì)中的特徵映射 (2),大腦皮質(zhì)上採用特徵映射的好處是 ： 有效地處理資訊 易於存取資訊 共同的資訊表示方式,圖4.6：大腦皮質(zhì)結(jié)構(gòu)圖。其中，1.腿; 2.軀幹; 3.手臂; 4.頸; 5.面部; 6.舌、語言; 7.味覺; 8.聽覺; 9.知覺; 10.觸覺;,4.4.1大腦皮質(zhì)中的特徵映射(6),大腦皮質(zhì)上採用特徵映射的好處是 ：有效地處理資

33、訊 易於存取資訊加快對傳入訊息的辨識速度：倘若沒有映射圖的存在，任何的刺激都可能產(chǎn)生多重感官的認知。譬如說，我們眼前出現(xiàn)黃蜂，這個刺激會被感受成味覺、嗅覺、及聽覺等感知，等到大腦產(chǎn)生要我們小心的認知時，我們可能已伸手想品嚐誤以為是美味的食物，而被它螯得痛死了[12]。易於系統(tǒng)的交互作用：,,摘自：大腦的秘密檔案 洪蘭 譯,4.4.2側(cè)向聯(lián)結(jié) (1),特徵映射圖形成的原因，除了非監(jiān)督式學(xué)習(xí)是個重要關(guān)鍵之外，“側(cè)向聯(lián)結(jié)”也是不可或缺

34、的要素之一。在許多生物的腦部組織中會有大量的神經(jīng)元，彼此之間有側(cè)向聯(lián)接，側(cè)向聯(lián)結(jié)的回饋量，通常是以「墨西哥帽函數(shù)」來代表 。一、具有一短距離的側(cè)向激發(fā)作用區(qū)域 (半徑約 50 至 100 微米)，圖中標示為 1 的區(qū)域。 二、具有一較大的側(cè)向抑制作用區(qū)域 (半徑約 200 至 500 微米)，圖中標示為 2 的區(qū)域。 三、一個強度較小的激發(fā)作用區(qū)域，其涵蓋區(qū)域包圍著抑制區(qū)域 (半徑可達好幾公分)，圖中標示為 3

35、 的區(qū)域。,圖4.7：墨西哥帽函數(shù)。,4.4.2側(cè)向聯(lián)結(jié) (2),由圖4.8所示的類神經(jīng)網(wǎng)路有兩項重要的特徵：第一個是網(wǎng)路的反應(yīng)會集中於一小區(qū)域稱之為「活化氣泡」(activity bubbles) 的範(fàn)圍內(nèi)；第二個是產(chǎn)生活化氣泡的位置是由輸入向量的特徵所決定。,圖4.8：一維陣列結(jié)構(gòu)之側(cè)向聯(lián)結(jié)。,圖4.9：式(4.35)所表示的回授系統(tǒng)。,範(fàn)例4.3：活化氣泡的電腦模擬 (1),圖4.10：簡化之墨西哥帽函數(shù)。,圖4.11：簡化之活

36、化函數(shù)。,範(fàn)例4.3：活化氣泡的電腦模擬 (2),圖4.12：不同的回授因子所產(chǎn)生之活化氣泡；(a); (b)。 (本圖摘自：S. Haykin, Neural Networks : A Comprehensive Foundation, 1994),4.4.3自我組織特徵映射演算法 (1),自我組織特徵映射演算法的主要目標，就是以特徵映射的方式，將任意維度的輸入向量，映射至一維或二維的特徵映射圖上?！摆A者全拿”的競爭式學(xué)習(xí)法，無法

37、發(fā)展出拓樸映射圖。藉由定義“鄰近區(qū)域”函數(shù)的方法，來表現(xiàn)活化氣泡的基本精神，以取代較複雜的側(cè)向聯(lián)接的回授功能。,圖4.13：二維矩陣之自我組織特徵映射模型。,4.4.3自我組織特徵映射演算法 (2),步驟一、初始化：將鍵結(jié)值向量 wj(0)，以隨機方式設(shè)定其值，但須注意所 有的 N 個鍵結(jié)值向量之初始值都應(yīng)不同，而 N 是類神經(jīng)元的個數(shù)。 步驟二、輸入呈現(xiàn)：從訓(xùn)練集中隨機選取一筆資料輸入此網(wǎng)路

38、。 步驟三、篩選得勝者類神經(jīng)元：以最小歐幾里德距離的方式找出，在時間 n 的得勝者類神經(jīng)元 j*： 步驟四、調(diào)整鍵結(jié)值向量：以下列公式調(diào)整所有類神經(jīng)元的鍵結(jié)值向量： 其中 ? 是學(xué)習(xí)率參數(shù)， 是得勝者類神經(jīng)元 的鄰近區(qū)域， 兩者都是時間 n 的函數(shù)。 步驟五、回到步驟二，直到特徵映射

39、圖形成時才終止演算法。,4.4.4參數(shù)的選擇,學(xué)習(xí)率參數(shù) ：Kohonen建議 就是一個合理的選擇。 鄰域函數(shù)：鄰近區(qū)域函數(shù)通常採用包圍著得勝者類神經(jīng)元 j* 的正方形的型式。鄰近區(qū)域的設(shè)定，應(yīng)於一開始時包括全部的類神經(jīng)元，然後隨著時間的增加而慢慢縮減鄰近區(qū)域的大小 。學(xué)習(xí)次數(shù)： Kohonen建議學(xué)習(xí)過程的次數(shù)大約可以設(shè)定為網(wǎng)路中類神經(jīng)元個數(shù)的500倍以上。

40、在每一次的學(xué)習(xí)循環(huán)中，應(yīng)該將資料輸入至網(wǎng)路的次序打亂，以得到較好的數(shù)理統(tǒng)計特性。,圖4.14：鄰近區(qū)域函數(shù)：(a) 正方形; (b) 六邊形的型式。,4.4.5改良方法,我們將得勝者類神經(jīng)元 j* 的鄰近區(qū)域函數(shù) ?j* ，依側(cè)向聯(lián)結(jié)的距離予以遞減，令 ?j,j* 代表第 j 個類神經(jīng)元與得勝者類神經(jīng)元 j* 的側(cè)向聯(lián)結(jié)距離，其距離的計算方式是以輸出空間 A 中，與第 j* 個類神經(jīng)元的歐幾里德距離，令 dj,j* 代表得勝者類神經(jīng)元

41、 j* 的鄰近區(qū)域函數(shù)的強度，由於鄰近區(qū)域函數(shù)的強度 是側(cè)向聯(lián)結(jié)距離 的函數(shù)，因此我們可以發(fā)現(xiàn) 鍵結(jié)值向量的調(diào)整公式修正為：,圖4.20：高斯型式之鄰近區(qū)域函數(shù)。,良心機構(gòu)(conscience mechanism),使得所有的類神經(jīng)元，能有較均等的機會成為得勝者，以免得網(wǎng)路會因初始值設(shè)定的不良，而導(dǎo)致不良的結(jié)果。步驟一、經(jīng)由下式找出最接近輸入向量 的鍵結(jié)值向量 ： 步驟二、令 為第 j 個類神經(jīng)元

42、成為得勝者的機率，則： 步驟三、使用良心機構(gòu)找出新的得勝者類神經(jīng)元： 步驟四、調(diào)整得勝者類神經(jīng)元的鍵結(jié)值向量：,範(fàn)例4.4 均勻分佈之資料的自我組織特徵映射圖 (1),我們使用100個類神經(jīng)元排列成10×10的二維矩陣來進行電腦模擬，用來進行測試的輸入向量 的維度也是二維的資料，且其機率分佈為均勻地分佈在 。,圖

43、4.17：均勻分佈之資料的自我組織特徵映射圖：(a)隨機設(shè)定之初始鍵結(jié)值向量;(b)經(jīng)過50次疊代後之鍵結(jié)值向量;(c) 經(jīng)過1,000次疊代後之鍵結(jié)值向量;(d) 經(jīng)過10,000次疊代後之鍵結(jié)值向量;(e) 訓(xùn)練過程中，網(wǎng)子打結(jié)的情形; (f) 訓(xùn)練過程中，網(wǎng)子纏繞的情形。,範(fàn)例4.4 均勻分佈之資料的自我組織特徵映射圖 (2),如果我們將輸入資料均勻地分佈至三角形的區(qū)域，網(wǎng)路經(jīng)過充分的訓(xùn)練之後，可以得到如圖4.18(a)的拓蹼映

44、射圖。又如果此時將原本10×10的二維網(wǎng)路架構(gòu)改成100×1的一維網(wǎng)路架構(gòu)。,圖4.18：(a) 10×10的拓蹼映射圖；(b) 100×1的拓蹼映射圖。,範(fàn)例4.5非均勻分佈之資料,類神經(jīng)元在特徵映射圖中的機率分佈，的確可以反應(yīng)出輸入向量的機率分佈。這裏要強調(diào)一點的是，資料的機率分佈特性並非是線性地反應(yīng)於映射圖中。,圖4.19：三群高斯分佈之資料。,4.4.6特徵映射圖之應(yīng)用,特徵映射圖的

45、應(yīng)用可從兩方面來看： 藉由電腦模擬的驗證，可以用來佐證人腦的映射圖的形成假設(shè)[16]-[17]。 可利用特徵映射圖來解決許多工程方面的問題，如：機器人手臂控制[18]、群聚分析[19]-[22]、及向量量化[23]等，有心的讀者可以參考文獻[12]，[24]，以便能進一步的瞭解特徵映射圖，因為這些文獻詳盡地介紹特徵映射圖於工程上的各種應(yīng)用。,範(fàn)例4.7：應(yīng)用特徵映射圖於語音辨識,應(yīng)用特徵映射圖於語音辨識 : Kohonen 曾經(jīng)利用

46、芬蘭語的音素 ，訓(xùn)練出一個 8?12 的類神經(jīng)元矩陣，經(jīng)過此校正的加標過程後，得到圖4.21 的音素映射圖，從此圖可以讓我們很清楚地看到，音素的頻譜特徵向量有群聚效果，而此圖的用途，可用於語言“治療” (therapy) 或訓(xùn)練。 事實上，此圖的終極用途是希望能解決語音辨認的問題。經(jīng)過加標過程後的特徵映射圖，可被用來當(dāng)作是分類器使用，當(dāng)輸入送進網(wǎng)路後，我們可用得勝者之加標符號將此輸入予以分類。此種將特徵映射圖當(dāng)作分類器使用的作法，基本

47、上是對每一類別用多個樣本(templates) (即類神經(jīng)元之鍵結(jié)值向量) 來代表。,圖4.21：芬蘭語之音素映射圖。,範(fàn)例4.8：應(yīng)用特徵映射圖於群聚分析 (1),如何從訓(xùn)練好的特徵映射圖中得到分群資訊是一大挑戰(zhàn)。Ultsh 和Siemon 提出U-matrix 方法[19]、以及Kraaijveld 等人提出了一種將特徵映射圖轉(zhuǎn)換為灰階影像以利肉眼判讀出群聚資訊的方法 [20]。 在訓(xùn)練完SOM的網(wǎng)路後，求出每一個神經(jīng)元與其上下左

48、右的四個鄰居的神經(jīng)元的距離 (神經(jīng)元間的距離是以鍵結(jié)值向量間的歐基里德距離為準) ，然後，取其最大值當(dāng)作該神經(jīng)元的強度，距離越大則該神經(jīng)元於灰階影像的灰階值越大(越亮)。因此，若影像中有被白色環(huán)繞之黑色區(qū)塊出現(xiàn)時，則該黑色區(qū)塊很可能就代表一個群聚的存在。,圖4.26：灰階影像以利肉眼判讀出群聚資訊的方法。,範(fàn)例4.8：應(yīng)用特徵映射圖於群聚分析 (2),在原本的SOM網(wǎng)路架構(gòu)中加入「調(diào)整類神經(jīng)元之平面位置向量」的概念，以反應(yīng)出資料間的拓樸

49、關(guān)係，進而提供我們更多有關(guān)於資料集合中的群聚資訊。DSOM在特徵映射圖的形成過程中，除了會調(diào)整鍵結(jié)值向量外，也會一起調(diào)整平面位置向量，兩者交互進行。如此一來，不但可以得到傳統(tǒng)的由鍵結(jié)值向量所組成之特徵映射圖，還可以得到由平面位置向量所形成之神經(jīng)元移動軌跡圖。從移動軌跡圖中，使用者便可以估測出資料的群聚資訊，以輔助我們判斷群聚之?dāng)?shù)目及其幾何特性。,,圖4.27：雙自我組織特徵映射圖（DSOM）判讀出群聚資訊的方法(本圖摘自[22])

50、。,4.4.6特徵映射圖之應(yīng)用(3),4.5學(xué)習(xí)向量量化 (1),LVQ網(wǎng)路的訓(xùn)練使用加標的資訊 (category information)，而競爭式學(xué)習(xí)網(wǎng)路則沒有這類的期望輸出值。LVQ網(wǎng)路則可採用多個樣本向量來代表同一分類(class)。LVQ網(wǎng)路的訓(xùn)練過程分成兩個階段:第一階段是採用非監(jiān)督式學(xué)習(xí)法 : 分群的方法可以是競爭式學(xué)習(xí)法或其它群聚分析法如k-means演繹法，接著我們利用加標資訊將這些群聚予以加標，使用“多數(shù)

51、制”的投票法將群聚加標，也就是說，這個群聚所涵蓋的圖樣以那一種分類(class)為最多，則這個群聚就被標示為那個分類，群聚經(jīng)此加標過程之後。第二階段 監(jiān)督式學(xué)習(xí)法，使用加標的圖樣將群聚位置予以細調(diào)。,4.5學(xué)習(xí)向量量化 (2),步驟一、利用群聚演繹法(clustering algorithm)(如：競爭式學(xué)習(xí)法和k-means演繹法等)來將圖樣的群聚中心位置找到，並以這些位置來初始化類神經(jīng)元的鍵結(jié)值。 步驟二、利用“多數(shù)制”的

52、投票法將類神經(jīng)元予以加標。 步驟三、隨機選取加標過的資料(圖樣 x)輸入至網(wǎng)路，並根據(jù)下式找出得勝者 j*步驟四、調(diào)整得勝者類神經(jīng)元的鍵結(jié)值 步驟五、若疊代次數(shù)已超過限制或鍵結(jié)值已收斂則停止訓(xùn)練，否則回到步驟三。,範(fàn)例4.7 學(xué)習(xí)向量量化 (1),?=0.1,範(fàn)例4.7 學(xué)習(xí)向量量化 (2),,4.6結(jié)語,我們介紹了幾種以非監(jiān)督式學(xué)習(xí)為架構(gòu)的類神經(jīng)網(wǎng)路，此種架構(gòu)的類神經(jīng)網(wǎng)路最適合用來分析資料的群聚關(guān)係，在沒有任