半監(jiān)督判別分析方法研究.pdf

1、判別分析（Discriminant Analysis）是模式識(shí)別領(lǐng)域的重要研究?jī)?nèi)容之一。過(guò)去幾十年來(lái)，判別分析在理論和應(yīng)用上均取得了很大進(jìn)展。然而，在一些實(shí)際應(yīng)用中，當(dāng)沒有足夠多的有標(biāo)注訓(xùn)練數(shù)據(jù)時(shí)，判別分析的性能會(huì)迅速下降，甚至不能工作。而在圖像識(shí)別中，通?？梢院苋菀椎孬@取大量的未標(biāo)注數(shù)據(jù)。因此，同時(shí)利用有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)的方式近年來(lái)引起越來(lái)越強(qiáng)烈的關(guān)注。本文將判別分析與半監(jiān)督學(xué)習(xí)相結(jié)合，進(jìn)行了有關(guān)半監(jiān)督判別分析的研究

2、。具體的工作如下：
　　1．研究了如何利用未標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)。并將其歸納成兩大類方法：基于正則化的方法和基于有標(biāo)注數(shù)據(jù)樣本擴(kuò)充的方法。其中，第一類方法主要利用了數(shù)據(jù)的分布關(guān)系；第二類方法則是在有標(biāo)注數(shù)據(jù)指導(dǎo)下，將類別標(biāo)號(hào)由有標(biāo)注數(shù)據(jù)傳遞到未標(biāo)注數(shù)據(jù)，從而獲得更多類別的信息。
　　2．提出了基于譜的直推式有標(biāo)注樣本擴(kuò)充方法。首先將訓(xùn)練數(shù)據(jù)采用圖模型表示，并假設(shè)數(shù)據(jù)的類別在圖上平滑變化。然后，根據(jù)有監(jiān)督信息建立正負(fù)約束矩陣，并利

3、用有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)的關(guān)系，將譜的直推式形式化成為有約束的凸最優(yōu)化問題。為了有效求解，根據(jù)正交投影矩陣的性質(zhì)，將約束化簡(jiǎn)，并進(jìn)一步轉(zhuǎn)化成特征向量求解的問題，最終獲得解析解。最后，提出了可靠估計(jì)樣本的平衡選擇策略。通過(guò)在投影空間建立置信度函數(shù)，并選擇那些置信度較高的未標(biāo)注數(shù)據(jù)加入原始有標(biāo)注數(shù)據(jù)中，使得有標(biāo)注數(shù)據(jù)集合得到擴(kuò)充。
　　3．對(duì)傳統(tǒng)判別分析框架進(jìn)行了擴(kuò)展，提出了具有局部保持特性的半監(jiān)督判別分析框架。首先，基于拉普拉斯的局

4、部保持特性，建立正則項(xiàng)。然后，在擴(kuò)充后的有標(biāo)注樣本集合上進(jìn)行正則化的判別分析，以保持所有樣本點(diǎn)在原始空間的局部幾何結(jié)構(gòu)。這樣，既增強(qiáng)了算法的推廣能力，同時(shí)在一定程度上避免了學(xué)習(xí)中過(guò)擬合問題的出現(xiàn)。
　　4．將提出的算法應(yīng)用到了實(shí)際的人臉識(shí)別任務(wù)上。我們的算法利用少量的有標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)，通過(guò)在CMU-PIE和AR人臉數(shù)據(jù)庫(kù)上的測(cè)試，表現(xiàn)出很好的性能，特別是在單幅有標(biāo)注圖像識(shí)別問題中，與經(jīng)典的人臉識(shí)別方法相比，識(shí)別率