主成分分析法精華講義及實(shí)例

1、主成分分析主成分分析類型類型：一種處理高維數(shù)據(jù)的方法。降維思想降維思想：在實(shí)際問題的研究中，往往會涉及眾多有關(guān)的變量。但是，變量太多不但會增加計(jì)算的復(fù)雜性，而且也會給合理地分析問題和解釋問題帶來困難。一般說來，雖然每個(gè)變量都提供了一定的信息，但其重要性有所不同，而在很多情況下，變量間有一定的相關(guān)性，從而使得這些變量所提供的信息在一定程度上有所重疊。因而人們希望對這些變量加以“改造”，用為數(shù)極少的互補(bǔ)相關(guān)的新變量來反映原變量所提供的絕大部

2、分信息，通過對新變量的分析達(dá)到解決問題的目的。一、總體主成分一、總體主成分1.11.1定義定義設(shè)X1，X2，…，Xp為某實(shí)際問題所涉及的p個(gè)隨機(jī)變量。記X=(X1，X2，…Xp)T，其協(xié)方差矩陣為()[(())(())]TijppEXEXXEX???????它是一個(gè)p階非負(fù)定矩陣。設(shè)（1）1111112212221122221122TppTppTpppppppYlXlXlXlXYlXlXlXlXYlXlXlXlX????????????

3、???????????????則有（2）()()12...()()12....TTiiiiTTTijijijVarYVarlXllipCovYYCovlXlXlljp????????第i個(gè)主成分：一般地，在約束條件1Tiill?1()piiVarX??分解成p個(gè)互不相關(guān)變量Y1，Y2，…，Yp的方差之和，即1()piiVarY??而。()kkVarY??第k個(gè)主成分的貢獻(xiàn)率：；1ipii????前m個(gè)主成分累計(jì)貢獻(xiàn)率：，它表明前m個(gè)主成

4、分11miipii??????Y1，Y2，…，Ym綜合提供X1，X2，…，Xp中信息的能力。1.3.21.3.2主成分主成分Yi與變量與變量Xj的相關(guān)系數(shù)的相關(guān)系數(shù)由于Y=PTX，故X=PY，從而1122().jjjpjpijiijXeYeYeYCovYXe???????由此可得Yi與Xj的相關(guān)系數(shù)為（4）()()()ijijiijiYXijijijjjjCovYXeeVarYVarX?????????1.41.4標(biāo)準(zhǔn)化變量的主成分標(biāo)準(zhǔn)