pca方法詳解及人臉識(shí)別應(yīng)用實(shí)例

1、第一節(jié)第一節(jié)主成分分析基本理論主成分分析基本理論一、什么是主成分分析？一、什么是主成分分析？主成分分析為Principlecomponentanalysis[101112]的中文翻譯，其英文簡(jiǎn)寫為PCA。它是一種非常流行和實(shí)用的數(shù)據(jù)分析技術(shù)，最重要的應(yīng)用是對(duì)原有數(shù)據(jù)進(jìn)行簡(jiǎn)化。主成分分析可以有效的找出數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪聲和冗余，將原有的復(fù)雜數(shù)據(jù)降維處理，揭示出隱藏在復(fù)雜數(shù)據(jù)背后的簡(jiǎn)單結(jié)構(gòu)。它的優(yōu)點(diǎn)是簡(jiǎn)單，而且無參數(shù)限制，

2、可以方便的應(yīng)用與各個(gè)場(chǎng)合。因此應(yīng)用極其廣泛，從神經(jīng)科學(xué)到計(jì)算機(jī)圖形學(xué)都有它的身影。PCA被稱為應(yīng)用線形代數(shù)最有價(jià)值的結(jié)果之一。本節(jié)下面的內(nèi)容將開始講解PCA的具體內(nèi)容。具體安排為：首先將從一個(gè)簡(jiǎn)單的例子開始說明PCA應(yīng)用的場(chǎng)合以及想法的由來，進(jìn)行一個(gè)比較直觀的解釋；然后加入數(shù)學(xué)的嚴(yán)格推導(dǎo)，引入線形代數(shù)，進(jìn)行問題的求解。隨后將揭示PCA與SVD(SingularValueDecomposition)之間的聯(lián)系以及如何將之應(yīng)用于真實(shí)世界。最

3、后將分析PCA理論模型的假設(shè)條件以及針對(duì)這些條件可能進(jìn)行的改進(jìn)。二、例子二、例子在實(shí)驗(yàn)科學(xué)中常常遇到的情況是，使用大量的變量代表可能變化的因素，例如光譜、電壓、速度等等。在實(shí)際中，由于實(shí)驗(yàn)環(huán)境和觀測(cè)手段的限制，實(shí)驗(yàn)數(shù)據(jù)往往變得極其的復(fù)雜，混亂，而且數(shù)據(jù)存在很大的冗余。如何對(duì)數(shù)據(jù)進(jìn)行分析，取得隱藏在數(shù)據(jù)背后變量間的本質(zhì)關(guān)系，是一個(gè)很困難的問題。在神經(jīng)科學(xué)、氣象學(xué)、海洋學(xué)等等學(xué)科實(shí)驗(yàn)中，假設(shè)的變量個(gè)數(shù)往往非常之多，但是真正的影響因素以及它們

4、之間的關(guān)系可能又是非常之簡(jiǎn)單的。下面的例子取自一個(gè)我們都非常熟悉的物理學(xué)中的實(shí)驗(yàn)。這個(gè)實(shí)驗(yàn)看上去似乎過于簡(jiǎn)單，但足以說明問題。如圖表4.1所示，這是一個(gè)理想彈簧運(yùn)動(dòng)規(guī)律的測(cè)定實(shí)驗(yàn)。假設(shè)球是連接在一個(gè)無質(zhì)量無摩擦的彈簧之上，從平衡位置沿x軸拉開一定的距離然后釋放。三、基變換三、基變換從線形代數(shù)的角度來看，PCA的目標(biāo)就是使用另一組基去重新描述得到的數(shù)據(jù)空間。而新的基要能盡量揭示原有的數(shù)據(jù)間的關(guān)系。在這個(gè)例子中，沿著某x軸上的運(yùn)動(dòng)是最重要的

5、。這個(gè)維度即最重要的“主元”。PCA的目標(biāo)就是找到這樣的“主元”，最大程度的去除冗余和噪音的干擾。1.標(biāo)準(zhǔn)正交基為了更有利于推導(dǎo)，將對(duì)上述例子的數(shù)據(jù)作出定義為：在實(shí)驗(yàn)過程中，在每一個(gè)采樣時(shí)間點(diǎn)上，每個(gè)攝像機(jī)記錄一組二維坐標(biāo)為(xy)，綜合三臺(tái)攝像機(jī)數(shù)據(jù)，在每一個(gè)時(shí)間點(diǎn)上得到的位置數(shù)據(jù)對(duì)應(yīng)于一個(gè)六維列向量。X=AABBCCxyxyxy??????????????????????（4.1）如果以200Hz的頻率拍攝10分鐘，將得到10602

6、00=120000個(gè)這樣的向量數(shù)據(jù)。抽象一點(diǎn)來說，每一個(gè)采樣點(diǎn)數(shù)據(jù)都是在m維向量空間（此例m=6）內(nèi)X???的一個(gè)向量，這里的m是涉及到的變量個(gè)數(shù)。由線形代數(shù)知識(shí)可以知道，在m維向量空間中的每一個(gè)向量都是一組正交基的線形組合。最普通的一組正交基是標(biāo)準(zhǔn)正交基，實(shí)驗(yàn)采樣的結(jié)果通?？梢钥醋魇窃跇?biāo)準(zhǔn)正交基下表示的。舉例來說，上例中每個(gè)攝像機(jī)記錄的數(shù)據(jù)坐標(biāo)為(xy)，這樣的基便是[(10)(01)]。那為什么不取或是其他任意的基呢？原因是，這樣的