增強型典型相關分析研究與應用.pdf

1、機器學習從有限的觀察樣本概括特定問題世界的模型，離不開數(shù)據(jù)分析工具的支持，以發(fā)現(xiàn)觀測數(shù)據(jù)中隱含的各種關系。典型相關分析(CCA)是研究存在于兩組變量之間相關關系的有力工具。作為一種多元數(shù)據(jù)分析方法，CCA自1936年問世以來，在回歸建模、圖像分析與處理、計算機視覺、模式識別和生物信息學等領域得到了廣泛的應用，并日益受到各領域有關研究者的重視，而多模態(tài)識別技術的興起又為基于CCA的模式識別方法的研究提供了新的契機。 本文以CCA數(shù)

2、學模型為研究對象展開深入的擴展研究，致力于用增強的CCA模型來解決機器學習中兩種主要的學習問題：模式識別與回歸建模。本文的創(chuàng)新性研究成果總結如下： （1）提出了一個非線性CCA模型，將一個非線性問題劃分為一系列線性子問題的組合，用以解決實際中大量存在的非線性相關問題，并通過數(shù)據(jù)可視化實驗和姿態(tài)估計實驗驗證了算法的有效性。 （2）建立了一個CCA單模態(tài)識別的統(tǒng)一框架，揭示了“樣本－類標號”方式的CCA與線性判別分析之間等價

3、性產(chǎn)生的潛在機理；在此基礎上，提出一個基于樣本分布的軟標號CCA，打破了這種等價性限制，提高了算法的識別性能。 （3）提出了一種新的有監(jiān)督學習方法－判別型CCA，該方法引入樣本的類信息，并充分考慮了樣本之間的相關關系及其對分類的影響。利用核技巧，進一步提出了核化的判別型CCA，用以解決較為復雜的線性不可分問題；實驗表明這兩種方法具有較高的識別性能。 （4）在判別型CCA基礎上，提出了一種有樣本缺失的判別型CCA，用以克服

4、實際中由于各種原因?qū)е碌臉颖救笔栴}，該方法繼承了判別型CCA的優(yōu)點，且具有識別性能較好、節(jié)約時間和內(nèi)存、對缺失樣本數(shù)目相對不敏感等優(yōu)點。 （5）CCA將相關性作為樣本間相似性度量。將這種思想推廣到主成分分析（PCA），提出了基于相關性度量的偽主成分分析。在此基礎上，將這種思想方法推廣到近年來提出的基于二維模式的PCA算法家族中，使之成為有監(jiān)督學習方式。此外，在不改變PCA原有算法框架的基礎上，提出了引入類信息的PCA。實驗表明