神經(jīng)網(wǎng)絡(luò)中的若干問題研究.pdf

1、上世紀(jì)八十年代初，由于美國著名生物物理學(xué)家J．J．Hopfield教授的杰出工作，人工神經(jīng)網(wǎng)絡(luò)研究獲得了復(fù)蘇并很快推向高潮．此后，人工神經(jīng)網(wǎng)絡(luò)一直是科學(xué)和工程上的一個研究熱點．20多年來，人工神經(jīng)網(wǎng)絡(luò)研究取得了豐碩的成果，其應(yīng)用已經(jīng)深入到經(jīng)濟、軍事、工程、醫(yī)學(xué)、保險、娛樂、以及科學(xué)的許多領(lǐng)域．由于人工神經(jīng)網(wǎng)絡(luò)固有的模擬大腦智能的屬性以及強大的計算能力，人工神經(jīng)網(wǎng)絡(luò)研究深深地吸引了國際上許多優(yōu)秀的科學(xué)家和一流的學(xué)術(shù)研究機構(gòu)．在Harvar

2、d大學(xué)，MIT，Boston大學(xué)等都有科學(xué)家從事神經(jīng)網(wǎng)絡(luò)方面的研究．另一方面，人工神經(jīng)網(wǎng)絡(luò)的研究成果不斷在許多國際一流學(xué)術(shù)刊物，如《Science》，《Nature》，《IEEE Trans．Neural Networks》等上發(fā)表．所有這些均表明了人工神經(jīng)網(wǎng)絡(luò)具有十分重要的科學(xué)地位． 本論文研究人工神經(jīng)網(wǎng)絡(luò)中十分重要和具有廣泛應(yīng)用的三個方面的問題：1．主分量分析(PCA)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法；2．支持向量機(SVM)；3．一類回復(fù)

3、式神經(jīng)網(wǎng)絡(luò)的輸出收斂性．全文共分三個部分． 第一部分研究PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法．PCA是一種統(tǒng)計學(xué)習(xí)方法，在信號處理，模式識別，數(shù)字圖像處理等領(lǐng)域具有非常廣泛的應(yīng)用．傳統(tǒng)的數(shù)學(xué)方法如QR分解和SVD應(yīng)用于PCA肘遇到的主要困難在于需要大量的計算而且不能用于在線計算．PCA神經(jīng)網(wǎng)絡(luò)方法克服了傳統(tǒng)方法所具有的缺點，特別適合于在線計算，從而具有廣泛的應(yīng)用領(lǐng)域． PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是PCA神經(jīng)網(wǎng)絡(luò)最重要的組成部分．迄今，科學(xué)

4、工作們已提出了多種PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，其中Oja的PCA學(xué)習(xí)算法，Xu的LMSER PCA學(xué)習(xí)算法，推廣的Hebbiaa PCA學(xué)習(xí)算法(GHA)等尤其影響深遠(yuǎn)．在PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中，收斂性是算法的最重要的性質(zhì)之一，它決定了算法能否真正在實際中獲得應(yīng)用．較長時間來，確定性連續(xù)時間方法(DCT)一直是分析PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的重要工具．近些年的研究表明，DCT方法獲得的結(jié)果是不適用的．最近提出的確定性離散時間方法，即DDT方法

5、，被認(rèn)為是一種分析PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的更有效但也是更難的方法．本部分采用DDT方法對PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的收斂性進行深入研究．主要研究內(nèi)容有：(1)應(yīng)用確定性離散時間(DDT)方法，分析了Xu的LMSER PCA學(xué)習(xí)算法的收斂性．建立了該算法的一個不變集和最終界，并嚴(yán)格證明了其局部收斂性．(2)提出了一種自適應(yīng)的學(xué)習(xí)速率，保證了Oja的PCA學(xué)習(xí)算法的全局收斂性，加速了算法的學(xué)習(xí)過程．并應(yīng)用DDT方法嚴(yán)格證明了其全局收斂性．(3)

6、GHA算法是被廣泛使用的計算多個主分量方向的算法．然而，離散的GHA算法的收斂性分析是比較困難的．通過用DDT方法，嚴(yán)格證明了GHA在自適應(yīng)性學(xué)習(xí)速率下的離散算法的全局收斂性．(4)通過自適應(yīng)性地逼近數(shù)據(jù)集的實質(zhì)維，提出了一種改進的GHA算法．原有的GHA算法必須事先確定要計算的主分量方向的數(shù)量，這在實際中是不現(xiàn)實的，對于在線計算尤其如此．使用改進的算法，主分量方向數(shù)量能根據(jù)要求的精度自適應(yīng)的收斂到數(shù)據(jù)集的實質(zhì)維．因此，這個算法特別適合

7、于在線計算．(5)分析了PCA，MCA算法的混沌現(xiàn)象，獲得了產(chǎn)生混沌的條件．(6)應(yīng)用PCA神經(jīng)網(wǎng)絡(luò)于醫(yī)學(xué)圖像配準(zhǔn)．提出了通過簡單地對齊圖像的第一主分量方向和質(zhì)心來實現(xiàn)圖像快速配準(zhǔn)的方法． 第二部分研究支持向量機(SVM)所面臨的大數(shù)據(jù)樣本問題和對噪聲的敏感性問題．SVM在解決小樣本，非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢．因而，SVM獲得了廣泛的應(yīng)用．然而在處理大數(shù)據(jù)樣本的時候，因為計算的復(fù)雜性，不但傳統(tǒng)的優(yōu)化方法不能

8、使用，而且SVM學(xué)習(xí)過程非常緩慢．本部分提出兩種方法來解決這個問題．一是改進了序列最小優(yōu)化(SMO)分解算法，簡化了其最小化過程，并分析了其收斂性．二是提出了用脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)研究SVM的新方法．通過PCNN來選擇一個幾乎包括所有支持向量的樣本子集作為候選的支持向量子集，把原始問題轉(zhuǎn)化成一個小的優(yōu)化問題，從而減少計算量，加快了SVM的學(xué)習(xí)過程．更重要的是，這種方法沒有損失原有SVM的泛化能力．另外，SVM對噪聲非常敏感，有噪

9、聲的輸入樣本會使決策面嚴(yán)重偏離最優(yōu)超平面．模糊SVM(FSVM)被提出來解決這個問題．在這一部分，對FSVM提出了一個新的從屬關(guān)系計算函數(shù)，可以計算樣本在輸入空間或者特征空間中對決策面的貢獻(xiàn)．進而，提高SVM的抗干擾能力，有效地改進SVM的分類準(zhǔn)確性． 第三部分研究一類回復(fù)式神經(jīng)網(wǎng)絡(luò)(RNN)的輸出收斂性問題．因為RNN具有反饋的拓?fù)浣Y(jié)構(gòu)和時間性的行為特征，較前饋神經(jīng)網(wǎng)絡(luò)有更強的逼近，自適應(yīng)能力．也因為RNN重要的理論意義和實際