模式判別中的子空間分析方法研究.pdf

1、子空間分析是模式分析中的一個重要研究方向。子空間分析技術(shù)已成功地應(yīng)用于計算機(jī)視覺和模式識別中。按照映射方式的不同,子空間分析分為線性和非線性兩大類。線性子空間分析方法具有計算簡單、高效的優(yōu)點,它為各種非線性方法提供了堅實的基礎(chǔ)。非線性子空間分析著重于提取數(shù)據(jù)的局部結(jié)構(gòu)。近年來,子空間方法已被廣泛應(yīng)用于生物特征和生物數(shù)據(jù)識別。目前,子空間分析已經(jīng)成為特征提取的重點研究方向,在數(shù)據(jù)挖掘等方面也有非常好的應(yīng)用前景。為了提取并有效利用海量數(shù)據(jù)中

2、的有效判別信息,迫切需要系統(tǒng)深入地研究和發(fā)展新的判別子空間分析方法。本文從 Fisher線性判別分析中的小樣本問題著手,對子空間分析方法進(jìn)行了深入研究,取得了如下創(chuàng)新性研究成果:
　　1、提出一種新的線性判別子空間分析方法—有效判別零空間分析。針對小樣本問題,解釋并證明了總體散布矩陣,類間散布矩陣和類內(nèi)散布矩陣的零空間的物理意義,給出了它們的直觀幾何解釋。揭示了原數(shù)據(jù)空間上的類間散布矩陣與有效零空間和有效值域空間上的類間散布矩陣之

3、間的關(guān)系。證明并得出有效判別零空間上的類內(nèi)距離等于零而類間距離大于零這一結(jié)論。在不同數(shù)據(jù)上的識別實驗證明有效判別零空間分析在分類精度,魯棒性和效率上優(yōu)于其它相關(guān)的方法。
　　2、提出基于值域空間中類零子空間分析的模式判別方法。該算法不但能夠?qū)儆谝阎Ｊ降臉颖咀鞣诸惻袥Q,還能發(fā)現(xiàn)新模式類。研究了值域空間的性質(zhì)。根據(jù)在模式分類中的作用對原數(shù)據(jù)空間進(jìn)行空間分解并分析了各個子空間的性質(zhì)。根據(jù)子空間的性質(zhì),構(gòu)造了到各個子類的特征空間的投影

4、矩陣?；谔掌潟r域光譜信號的物質(zhì)辨識實驗和基于COIL-100數(shù)據(jù)庫的物體分類實驗驗證了類零子空間分析算法的優(yōu)越性。
　　3、從兩類分類問題出發(fā),提出一種弱空間分析方法。弱空間方法旨在提取更加豐富的判別特征。通過分析和實驗說明 Fisher判別特征空間的補(bǔ)空間中也含有有效的判別信息。討論了方差小的分量在模式分類中的作用并揭示方差小的分量含有豐富的判別信息。給出了弱空間的構(gòu)造方法。同時,提出一種新的特征譜正則化方法?；谔掌潟r域

5、光譜信號的物質(zhì)辨識實驗及基于仿真數(shù)據(jù)的實驗證實,在特征豐富的子空間中識別率能夠得到提高。
　　4、提出了弱分量判別分析。分析和解釋了樣本協(xié)方差矩陣特征值的物理意,研究并推導(dǎo)了樣本數(shù)據(jù)的信噪比與樣本協(xié)方差矩陣特征值之間的代數(shù)關(guān)系。并據(jù)此定義了樣本數(shù)據(jù)的弱分量。研究了Fisher線性判別分析準(zhǔn)則的物理意義和幾何意義。從而,直觀地解釋了Fisher線性判別分析中的異方差問題、可分性問題和穩(wěn)定性問題。通過將基于全體數(shù)據(jù)的線性判別分析思想推

6、廣到子類,提出了新的類判別準(zhǔn)則。從而,提出弱分量判別分析算法(WCDA)并推導(dǎo)其分類誤差上界。同時,分別從應(yīng)用條件、分類誤差、訓(xùn)練數(shù)據(jù)規(guī)模和計算復(fù)雜度等方面比較了WCDA和主分量近似零空間分析方法。在三類不同數(shù)據(jù)庫上通過實驗比較了所提出的WCDA算法和相關(guān)的MLDA,PNBDA和PCNSA算法。實驗結(jié)果驗證了弱分量判別分析算法具有很好的分類能力,能夠提取信息空間中聚集性較好的低維特征。
　　5、提出值域空間中的超球面判別分析方法。

7、提出單位超球面模型并將其引入線性判別分析中。將歐氏距離轉(zhuǎn)化為單位超球面上的弧長,從而將歐氏空間中的判別分析轉(zhuǎn)化為超球面上的判別分析。通過引入核函數(shù),將超球面判別分析拓展到非線性子空間分析,并提出值域空間超球面核判別分析。在多個不同數(shù)據(jù)庫上的實驗結(jié)果證實了值域空間中的超球面判別分析相對于經(jīng)典的Fisher線性判別分析方法及其相關(guān)推廣算法在訓(xùn)練樣本數(shù)、識別精度和運(yùn)算效率方面具有優(yōu)越性。
　　本文取得的研究結(jié)果對模式識別中子空間分析方法