監(jiān)督和半監(jiān)督典型相關(guān)分析及其應用研究.pdf

1、典型相關(guān)分析（CCA）作為經(jīng)典的多元數(shù)據(jù)分析方法，通過研究兩組變量之間的相關(guān)關(guān)系來進行特征提取，近年來已開始在模式識別和機器學習等多個領(lǐng)域得到廣泛的應用。但一方面，CCA作為一種全局線性特征提取方法，不足以很好地描述非線性問題，缺乏對局部變化的識別魯棒性。另一方面，在半監(jiān)督學習興起的熱潮下，還可以考慮將半監(jiān)督技術(shù)引入到CCA中，以更好的利用先驗信息。本文圍繞這兩個方面對CCA進行擴展研究，致力于用擴展的CCA模型來解決機器學習和模式識別

2、中的分類問題。
　　 本文的創(chuàng)新性研究成果總結(jié)如下：
　　 （1）為解決CCA不足以很好的描述非線性問題，提出了一種新的有監(jiān)督學習方法---局部判別型CCA。該方法引入樣本的類信息，并同時考慮了同類樣本之間的局部相關(guān)與不同類樣本之間的局部相關(guān)關(guān)系及其對分類的影響。利用核技巧，進一步提出了核化的局部判別型CCA，用以解決較為復雜的線性不可分問題。LDCCA和KLDCCA提取的特征能夠?qū)崿F(xiàn)同類樣本之間的相關(guān)最大化，同時使得不

3、同類樣本之間的相關(guān)最小化，這將有利于模式的分類。在人工數(shù)據(jù)集、多特征手寫體數(shù)據(jù)集和人臉數(shù)據(jù)集(Yale和AR)上的實驗結(jié)果表明：這兩種方法具有較高的識別性能。
　　 （2）通過引入以成對約束形式給出的監(jiān)督信息，提出了一種半監(jiān)督的典型相關(guān)分析算法(Semi-CCA)。在此算法中，除了考慮大量的無標號樣本以外，還考慮成對約束信息，即已知兩樣本屬于同一類(正約束)或不屬于同一類(負約束)，同時驗證了兩者的相對重要性。同時，為解決廣泛存