pca絡(luò)計(jì)算法

1、PCA（principle components analysis)網(wǎng)絡(luò)及算法,房子成 鄭金斌,主要內(nèi)容,神經(jīng)網(wǎng)絡(luò)PCA的基本結(jié)構(gòu)PCA的基本原理PCA算法的進(jìn)一步擴(kuò)展研究網(wǎng)絡(luò)遇到的問題PCA仿真應(yīng)用,第一個(gè)問題：神經(jīng)網(wǎng)絡(luò)PCA的基本結(jié)構(gòu)一、單個(gè)神經(jīng)元抽取最大分量,,,輸出為權(quán)值修正公式：向量形式：,二、單層網(wǎng)絡(luò)抽取一主分量,,網(wǎng)絡(luò)的輸出為：Sanger 提出如下的權(quán)值修正公式：向量形式：

2、其中,第二個(gè)問題：PCA的基本原理,E[X]=0a=xTu=uTxσ2=E[a2]=uTRxxuφ(u)= σ2=uTRxxuφ(u+δu) ≤ φ(u) (δu)TRxxu≈0 (δu)Tu≈0 (δu)T(Rxxu-λu)=0Rxxu=λu,第二個(gè)問題：PCA的基本原理,Λ=diag(λ0,λ1,…,λd－1)UTRxxU=Λ,第二個(gè)問題：PCA的基本原理,誤差為：原是變量x的d個(gè)分量的總方差為：

3、變換后的向量前m個(gè)分量的方差為： 誤差e的方差為：,結(jié)論：,欲進(jìn)行維數(shù)壓縮，應(yīng)先計(jì)算輸入向量的相關(guān)矩陣Rxx的特征值和特征向量，并將特征向量單位化，按大小順序排列。然后將原向量投影到前m個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)成的子空間中，用x’0,x’1,…,x’m-1表示投影后的分量，則x’0具有最大方差，，與x’0不相關(guān)的方向中x’1，具有最大方差。依次類推。,主成分的幾何說明,,第三個(gè)問題：PCA算法的進(jìn)一步擴(kuò)展,一、有側(cè)向連接自適

4、應(yīng)的PCA,說明：,（1）由輸入到神經(jīng)元0，1，…，j間是前向連接，j﹤p,p是維數(shù)，權(quán)向量為Wj=[ωj,0(n), ωj,1(n), ωj,2(n), ωj,p-1(n),]T他們是按Hebb規(guī)則學(xué)習(xí)的，起自增強(qiáng)的作用。（2）從神經(jīng)元0，1，…，j－1到第j神經(jīng)元間的側(cè)向連接起反饋?zhàn)饔?，反饋連接權(quán)為aj(n)=[aj,o(n) ,aj,1(n), …, aj,j-1(n)]T他們按反Hebb規(guī)則學(xué)習(xí)的，起抑制作用。,j單元

5、的輸出為：,yj(n)=wjT(n)x(n)+ajT(n)yj-1(n)其中反饋信號(hào)：yj-1(n)=[y0(n), y1(n), …, yj-1(n)]T,二、非線性的PCA,線性PCA的不足：（1）常規(guī)的PCA可以用數(shù)值法求解，而基于梯度法的神經(jīng)網(wǎng)絡(luò)收斂較慢。（2）主分量只由數(shù)據(jù)的二階統(tǒng)計(jì)量——自相關(guān)陣確定，這種二階統(tǒng)計(jì)量只能描述平穩(wěn)的高斯分布。（3）PCA網(wǎng)絡(luò)不能從線性組合中把獨(dú)立信號(hào)成分分離出來。,,非線性PCA的優(yōu)勢(shì)

6、：（1）輸入到輸出的變換非線性的，使得神經(jīng)網(wǎng)絡(luò)更為有效。（2）梯度法通過迭代計(jì)算，避免了非線性方程，且可以用模擬硬件電路實(shí)現(xiàn)。（3）可以使用如累計(jì)量這樣的高階統(tǒng)計(jì)量，可以代表非高斯數(shù)據(jù)。（4）非線性處理可以使輸出更加相互獨(dú)立。,非線性主元的結(jié)構(gòu)圖,,,非線性主元：T=G(X) G=[G1,G2, …,Gf]第i個(gè)主元Ti為：Ti=Gi(X)對(duì)T反變換得Xj’=Hj(T)重建誤差：,三、魯棒PCA算法,目的：

7、 常規(guī)的PCA當(dāng)原始數(shù)據(jù)有格點(diǎn)（outliers)時(shí)出現(xiàn)較大的誤差，為解決這一個(gè)問題，基于魯棒統(tǒng)計(jì)方法和統(tǒng)計(jì)物理方法中的魯棒PCA算法，主要研究改善主成分分析的算法魯棒性的一種途徑，以提高PCA的精度。修正的PCA算法能夠在運(yùn)行中自動(dòng)的識(shí)別樣本集中的“劣點(diǎn)”，從而通過迭代計(jì)算加以適當(dāng)處理來排除對(duì)運(yùn)算精度的影響。,,一是要考慮如何能夠達(dá)到輸出各主成分間相互獨(dú)立。二是考慮如何去除或減弱有限的訓(xùn)練樣本集少量的“劣點(diǎn)”樣

8、本的影響從而獲得準(zhǔn)確的主方向。,第四個(gè)問題：研究網(wǎng)絡(luò)遇到的問題,（1）GHA算法中，步長(zhǎng)的選擇與什么因素有關(guān)？（2）單個(gè)神經(jīng)元的PCA中，為什么不采用Hebb規(guī)則？,第五個(gè)問題：PCA的仿真直線（平面）的擬合,在許多工程問題 , 特別如計(jì)算機(jī) 視覺中, 經(jīng)常遇 到用一個(gè)直線(曲線) ,平面(曲面)或超平面(超曲線) 擬合給定數(shù)據(jù)的問題 , 常用的是最小二乘法(LS)， 例如給定一組數(shù)點(diǎn)

9、 , 用一個(gè)直線模型 在通常的LS意義 擬合 的問題，就是找到一個(gè)估計(jì) , 是使： 其中：,如圖：,是點(diǎn) 到擬合直線的縱向線段的長(zhǎng)度， 因此上式的意義是使所有這種縱向線段的平方長(zhǎng)度之和最小。其實(shí)，只有因變量 有誤差，而 是準(zhǔn)確的。所有

10、測(cè)量結(jié)果都包含一定程度的誤差。此時(shí)，上式確定的直線 不是最優(yōu)的，最優(yōu)的直線應(yīng)使“與擬合直線相垂直的所有線,,,,,,,,,,,,,,x1,x2,o,,,,,,,,,,,,,,|e|,P(i),r(i),,,段的平方長(zhǎng)度之和”最小。 其中： 這就是所謂總體最小二乘法（TLS）的思想，在直線或平面擬合是，可將直線或

11、平面分別表示為：,,,在TLS意義上的最優(yōu)擬合問題并不太復(fù)雜， 可以用具有一個(gè)神經(jīng)元的網(wǎng)絡(luò)來解。從上 式可知TLS法是使下式中的E最小。 令 則可寫為,,,式中e，R分別是數(shù)據(jù) 的均值矢量和自相關(guān) 矩陣，從 ，得E的臨界點(diǎn)應(yīng)滿足。 上式是一個(gè)非線