唇讀中的特征提取、選擇與融合.pdf

1、唇讀是利用計算機來識別唇動序列的一門技術，它涉及到模式識別、人工智能、圖像處理等多個領域。本文主要研究了單視覺通道下，唇讀中的特征提取、選擇與融合，主要研究工作包括：
　　1.在特征提取方面，分析了流形學習這種非線性的特征提取方法在唇讀中的應用。為了有效提取出唇動過程中的本質(zhì)特征，本文分析了兩種流形學習方法(Isomap和局部線性內(nèi)嵌(LLE))在唇讀中的應用。最初提出的Isomap和LLE方法對于訓練集以外的新樣本沒有一種好的方

2、法能找到其內(nèi)嵌表示，本文提出了基于核的Isomap和LLE方法，實驗結果表明，利用流形這種非線性特征提取方法達到的識別性能雖然要低于傳統(tǒng)的基于線性的特征提取方法，但通過流形學習得到的低維內(nèi)嵌相比于傳統(tǒng)的方法更能夠反映出唇動的本質(zhì)特征。
　　2.在特征選擇方面，提出了一種基于AdaBoost的最優(yōu)Gabor核選擇算法。Gabor變換因其良好的識別性能在模式識別領域得到了較高的認可。但利用Gabor變換提取出來的特征維數(shù)太高，導致所需

3、訓練樣本的個數(shù)顯著增加，限制了其在唇讀中的應用?？紤]到嘴唇區(qū)域的表觀對稱性和Gabor核函數(shù)的方向性，本文提出了一種基于AdaBoost的最優(yōu)Gabor核選擇算法。提出的方法首先將嘴唇區(qū)域?qū)ΨQ地劃分成四個子塊，在每個子塊上利用AdaBoost自適應的選擇具有最優(yōu)判別能力的Gabor核函數(shù)。實驗表明，所選擇的Gabor核函數(shù)與嘴唇區(qū)域的表觀具有一致的方向性。最終產(chǎn)生的特征向量的維數(shù)明顯降低，達到了優(yōu)于傳統(tǒng)方法的性能。
　　3.在特征

4、融合方面，提出了一種在分類器級融合全局特征和局部特征的方法。在過去的文獻中，大量的基于像素的特征提取方法被提出來。傳統(tǒng)的特征提取方法只利用了全局特征或局部特征。然而一些心理學的研究表明，人類在識別物體時，不僅利用了全局特征也利用了局部特征，并且在從局部分析物體之前先利用了全局特征?；谶@些研究，本文提出了一種在分類器級融合全局與局部特征的方法，全局分類器利用離散傅里葉變換(DFT)來提取全局特征，局部分類器利用分塊的Gabor小波變換來