exin和feng39;smca學習算法的收劍性分析

1、碩士學位論文E X l N 禾l F e n g ’SM C A 學習算法的收斂性分析T h e c o n v e r g e n c e o fE X I Na n dF e n g ’SM C A l e a r n i n ga l g o r i t h m 一作者姓名：學科專業(yè)：學 號：指導教師：完成日期：游麗佳計算數(shù)學2 1 0 0 1 0 1 8李正學副教授2 0 1 3 年4 月2 5 日大連理工大學D a l i a

2、 nU n i v e r s i t yo fT e c h n o l o g y大連理工大學碩士學位論文摘 要最小主元分析( M i n o rC o m p o n e n t A n a l y s i s ，M C A ) 是一種多元的統(tǒng)計方法，主要應用于數(shù)據(jù)分析、圖形圖像處理、曲線／曲面擬合等領(lǐng)域．M C A 學習算法用于尋找空間中的一個方向，使得目標數(shù)據(jù)在該方向上投影的協(xié)方差最?。畟鹘y(tǒng)的對關(guān)聯(lián)矩陣進行特征值分解或奇異值分

3、解的方法計算復雜，在應用于工程領(lǐng)域時面臨著許多困難．而人工神經(jīng)網(wǎng)絡具有很強的自組織、魯棒性及并行處理信息的能力，非常適合于對高維信號的主元進行在線提取．歷史上O j a 第一次給出了提取第一個主分量的神經(jīng)網(wǎng)絡方法．后來人們在它的基礎(chǔ)上根據(jù)反赫布規(guī)則提出了許多的M C A 學習算法．M C A 算法是隨機的離散時間算法，它能否收斂到最小主元方向是一個非常重要的問題，研究的方法通常有兩種：確定性連續(xù)時間方法( D C T ) 和確定性離散時

4、間方法( D D T ) ．由隨機逼近理論可知，使用確定連續(xù)時間方法分析M C A 算法的收斂性時，要求學習率趨于零，這一條件在實際應用中很難得到滿足．而確定性離散時間方法不僅保證了算法的離散特征，而且其學習率不要求趨于零．本文基于D D T 系統(tǒng)對E X I N M C A 幣[ I F e n g ’SM C A 神經(jīng)網(wǎng)絡學習算法進行了研究．文獻『2 0 ] 探討了基于可變學習率的E X I NM C A 學習算法收斂性問題．本文將

5、上述工作推廣至常數(shù)學習率的情形，并證明了相應的理論結(jié)果．文f 2 1 1 給出J ' F e n g ’SM C A 學習算法在不變集& 下的收斂條件7 7 ≤m i n { o ．5 ，魯} ，我們不僅給出了更大的學習率選取范r 、L n 1 J圍7 7 < r a i n { o ．5 ，善率} ，而且還對不變集做了進一步的剖析．本文具體安排如下：第一部分介紹了神經(jīng)網(wǎng)絡的基礎(chǔ)知識和相關(guān)的M C A 神經(jīng)網(wǎng)絡學習