主成分分析法精華講義及實例

1、主成分分析主成分分析類型類型：一種處理高維數(shù)據(jù)的方法。降維思想降維思想：在實際問題的研究中，往往會涉及眾多有關的變量。但是，變量太多不但會增加計算的復雜性，而且也會給合理地分析問題和解釋問題帶來困難。一般說來，雖然每個變量都提供了一定的信息，但其重要性有所不同，而在很多情況下，變量間有一定的相關性，從而使得這些變量所提供的信息在一定程度上有所重疊。因而人們希望對這些變量加以“改造”，用為數(shù)極少的互補相關的新變量來反映原變量所提供的絕大部

2、分信息，通過對新變量的分析達到解決問題的目的。一、總體主成分一、總體主成分1.11.1定義定義設X1，X2，…，Xp為某實際問題所涉及的p個隨機變量。記X=(X1，X2，…Xp)T，其協(xié)方差矩陣為()[(())(())]TijppEXEXXEX???????它是一個p階非負定矩陣。設（1）1111112212221122221122TppTppTpppppppYlXlXlXlXYlXlXlXlXYlXlXlXlX????????????

3、???????????????則有（2）()()12...()()12....TTiiiiTTTijijijVarYVarlXllipCovYYCovlXlXlljp????????第i個主成分：一般地，在約束條件1Tiill?1()piiVarX??分解成p個互不相關變量Y1，Y2，…，Yp的方差之和，即1()piiVarY??而。()kkVarY??第k個主成分的貢獻率：；1ipii????前m個主成分累計貢獻率：，它表明前m個主成

4、分11miipii??????Y1，Y2，…，Ym綜合提供X1，X2，…，Xp中信息的能力。1.3.21.3.2主成分主成分Yi與變量與變量Xj的相關系數(shù)的相關系數(shù)由于Y=PTX，故X=PY，從而1122().jjjpjpijiijXeYeYeYCovYXe???????由此可得Yi與Xj的相關系數(shù)為（4）()()()ijijiijiYXijijijjjjCovYXeeVarYVarX?????????1.41.4標準化變量的主成分標準