數(shù)據(jù)降維算法的研究及其應(yīng)用.pdf

1、數(shù)據(jù)降維算法的研究在傳統(tǒng)的模式識別、生物特征識別、計算機視覺以及數(shù)字圖像處理等領(lǐng)域都具有非常重要的理論和實際價值。本文主要研究新的數(shù)據(jù)降維算法及其在人臉識別、步態(tài)識別和基于內(nèi)容的圖像檢索中的應(yīng)用。 在經(jīng)典的基于統(tǒng)計學(xué)習(xí)的數(shù)據(jù)降維算法中，比如主成分分析(PrincipalComponentAnalysis，PCA)和線性區(qū)分性分析(LinearDiscriminantAnalysis，LDA)，分析的對象通常都被表示成為一維的向量

2、。而在很多實際的應(yīng)用中，比如人臉識別中(FaceRecognition)，分析的對象都是二維或者高維的圖像數(shù)據(jù)，即灰度人臉圖像就是二維數(shù)據(jù)，彩色人臉圖像或者人臉圖像序列是三維數(shù)據(jù)。因此經(jīng)典的人臉識別算法是把二維或者高維的圖像數(shù)據(jù)變換成一維的向量數(shù)據(jù)，然后用PCA或者LDA來做數(shù)據(jù)降維。但是在本文第二三四章中指出，這樣的變換將導(dǎo)致數(shù)據(jù)各個維(比如圖像的行和列)之間的結(jié)構(gòu)信息的丟失，而且會導(dǎo)致維數(shù)災(zāi)難和小樣本問題。因此在本文的第二三四章提出

3、了一系列新的基于二維或者高維表示的數(shù)據(jù)降維方法。其中第二章提出了基于最優(yōu)重建準(zhǔn)則的二維或者高維數(shù)據(jù)的多線性降維方法CoupledSubspaceAnalysis(CSA-2)和ConcurrentSubspaceAnalysis(CSA-3)，第三章提出了基于最優(yōu)區(qū)分性準(zhǔn)則的二維或者高維數(shù)據(jù)的多線性降維方法BilinearDiscriminantAnalysis(BDA)和DiscriminantAnalysiswithTensorRe

4、presentation(DATER)。第四章提出了基于最優(yōu)區(qū)分性準(zhǔn)則的二維或者高維數(shù)據(jù)的非線性降維方法CoupledKernelDiscriminantAnalysis(CKDA)。大量的實驗證明新提出的基于二維或者高維表示的直接數(shù)據(jù)降維方法明顯優(yōu)于基于一維向量表示的數(shù)據(jù)降維方法，尤其是當(dāng)訓(xùn)練樣本比較少而且數(shù)據(jù)分布非常復(fù)雜的時候，這種優(yōu)勢更加明顯。 近年來，不僅基于統(tǒng)計學(xué)習(xí)的數(shù)據(jù)降維算法，比如PCA/LDA以及其基于核方法的版

5、本，核主成分分析(KernelPrincipalComponentAnalysis，KPCA)/核區(qū)分性分析(KernelDiscriminantAnalysis，KDA)等，被廣泛用于數(shù)據(jù)降維，而且基于幾何理論特性(GeometricTheory)的流形學(xué)習(xí)(ManifoldLearning)算法，比如ISOMAP，LLE和LaplacianEigenmap(LE)等也相繼被應(yīng)用于數(shù)據(jù)降維領(lǐng)域而且取得了很大的成功。本文第五章提出了一個

6、新的統(tǒng)一的理論框架，即：圖嵌入理論框架(包括直接的圖嵌入、線性化、核化和張量化)。這個框架可以把上面提到的這些數(shù)據(jù)降維的算法都?xì)w入其中。這個框架不僅可以歸納很多現(xiàn)有的算法，而且可以被用做設(shè)計新算法的平臺。基于這個平臺，第五章提出了兩種新的有監(jiān)督流形學(xué)習(xí)(SupervisedManifoldLearning)的算法，即MarginalFisherAnalysis(MFA)和DiscriminantLocallyLinearEmbeddin

7、g(DLLE)。由于新提出的算法考慮了數(shù)據(jù)的局部流形結(jié)構(gòu)和樣本的類別信息，大量的實驗結(jié)果證明這兩種算法的線性化/核化/張量化的版本都優(yōu)于只考慮樣本類別信息的LDA的相應(yīng)版本。 前面幾章主要考慮的是人臉識別這個應(yīng)用。在本文的第六章主要考慮前面提出的數(shù)據(jù)降維算法在步態(tài)識別中的應(yīng)用，而第七章則考慮其在基于內(nèi)容的圖像檢索中的應(yīng)用。 在第六章中，首先針對步態(tài)識別的預(yù)處理步驟即運動目標(biāo)分割這個任務(wù)，提出了一種不重要陰影(Insign

8、ificantShadow)的去除算法來更好的分割運動對象。實驗結(jié)果證明新提出的陰影去除算法明顯優(yōu)于前人提出的算法。第六章還系統(tǒng)的比較了CoupledSubspaceAnalysis+BilinearDiscriminantAnalysis(CSA+BDA)，MFA以及DLLE和傳統(tǒng)的LDA算法在步態(tài)識別上的結(jié)果。大量的實驗仍然證明新提出的算法在步態(tài)識別中也取得了較好的效果。第七章主要針對基于內(nèi)容的圖像檢索的特點提出了MFA變換的版本，