動態(tài)系統(tǒng)參數(shù)辨識中的奇異性研究.pdf

1、諸如神經(jīng)網(wǎng)絡在內的層次網(wǎng)絡中普遍存在奇異性。奇異性問題的研究已經(jīng)成為當前的一個重要發(fā)展方向。層次網(wǎng)絡中的奇異性導致許多奇異現(xiàn)象發(fā)生: Cramér-Rao定理不再成立，極大似然估計不再具有漸近高斯性，收斂速度變得極為緩慢，平坦區(qū)現(xiàn)象出現(xiàn)等等。如何降低奇異性影響，加快學習動態(tài)中的收斂速度是一項非常有意義的研究課題。本文圍繞徑向基函數(shù)神經(jīng)網(wǎng)絡(MLPs)學習和非線性系統(tǒng)辨識中的奇異性問題，以信息幾何方法為基礎，提出了應用于RBFs學習和非線

2、性系統(tǒng)辨識中的自適應自然梯度算法。本研究主要內容包括：
　?、叛芯苛司€性系統(tǒng)辨識和非線性系統(tǒng)辨識中的奇異性是否存在的問題。將非線性系統(tǒng)分為兩類，并分別對它們辨識中的奇異性存在問題進行研究。就線性系統(tǒng)和關于參數(shù)線性的非線性系統(tǒng)辨識而言，在假設噪聲是高斯白噪聲的情況下，得到這兩類系統(tǒng)的Fisher信息矩陣，并證明該信息矩陣在信號是充分激勵的條件下始終正定。對關于參數(shù)非線性的非線性系統(tǒng)，因為這類系統(tǒng)中包含系統(tǒng)的種類比較多，只能選擇常見的

3、某類系統(tǒng)進行分析。通過對噪聲信號的假設，得到其Fisher信息矩陣，以及該矩陣退化的區(qū)域。對所研究系統(tǒng)，作出了誤差變化曲線，觀察該曲線中是否存在平坦區(qū)現(xiàn)象，以及平坦區(qū)現(xiàn)象出現(xiàn)的區(qū)域，以驗證理論推導。
　　⑵提出了一種應用于RBFs學習的自然梯度學習算法。在假設輸入信號是高斯變量的情況下，得到了Fisher信息矩陣。利用Sherman-Morrison公式得到了Fisher信息矩陣的逆矩陣的具體表達式。在隱節(jié)點數(shù)目較多的情況下，F(xiàn)i

4、sher信息矩陣及其逆矩陣的計算非常困難。本文結合Kalman濾波技巧和一個等式提出了能夠應用于RBFs的自適應自然梯度算法。并且將這種方法應用于非線性函數(shù)擬合，Mackey-Glass混沌時間序列預測，非線性時變系統(tǒng)辨識等等，與文獻資料中的結果對比發(fā)現(xiàn)，所提算法能夠取得好的學習效果。
　?、轻槍﹃P于參數(shù)非線性的非線性系統(tǒng)辨識中出現(xiàn)的奇異性，研究了自然梯度學習算法在該類非線性系統(tǒng)辨識中的應用。在假設輸入信號是均勻變量的情況下，得到

5、了Fisher信息矩陣。并利用Sherman-Morrison公式得到了Fisher信息矩陣的逆矩陣的具體表達式。在系統(tǒng)項數(shù)較多的情況下，F(xiàn)isher信息矩陣及其逆矩陣的計算非常困難。另外，在實際問題中，輸入信號的概率分布未知，本文結合Kalman濾波技巧和一個等式提出了能夠應用于這類關于參數(shù)非線性的非線性系統(tǒng)辨識的自適應自然梯度學習算法。通過數(shù)值仿真發(fā)現(xiàn)，所提算法能夠有效降低奇異性影響，加快學習動態(tài)，取得好的辨識結果。
　?、柔?/p>