基于動靜態(tài)多源特征選取、對齊與融合的唇讀方法.pdf

1、唇讀、唇動技術(shù)作為一種新興的智能人機(jī)交互技術(shù)，近年來正逐漸走向?qū)嵱没?。對唇動技術(shù)的研究，主要集中在唇動身份識別和說話人內(nèi)容識別(即，唇讀)兩大應(yīng)用上。
　　本文主要致力于改進(jìn)后者的識別性能。用簡單的唇部區(qū)域視頻序列反映復(fù)雜的發(fā)音過程、語言過程，必然要求研究人員能夠提出有效的、全面的反映唇區(qū)視頻序列信息的特征提取方法。然而，視頻序列中包含有許多身份相關(guān)信息。這些信息的表達(dá)不僅對唇讀問題沒有改善，而且很容易就會影響到唇讀問題解決的魯棒

2、性和準(zhǔn)確性，而且即使是視頻序列中包含的唇讀信息也存在易混淆、不統(tǒng)一、遍布于圖像結(jié)構(gòu)的各個(gè)層次中的問題。如何將唇區(qū)視頻序列所包含的語言信息全面、準(zhǔn)確的提取出來，就是本文的研究出發(fā)點(diǎn)。
　　針對唇讀信息的復(fù)雜性，本文提出使用不同種類、不同性質(zhì)的多源特征來解決唇讀信息描述的問題。本文引入了 LBP、HOG、Gabor等靜態(tài)特征對于圖像不同層次上的靜態(tài)信息加以描述。相比于其他模式識別問題，唇讀包含有更豐富的動態(tài)信息。本文提出了富信息幀的概

3、念，通過富信息幀度量視頻序列片段的動態(tài)信息積累，并在此基礎(chǔ)上引入光流的方法，提取視頻中的動態(tài)信息。然而，多源特征的結(jié)構(gòu)復(fù)雜，量綱不同，表示信息的方式與結(jié)構(gòu)各不相同。為了使多源特征能協(xié)同工作，必須進(jìn)行特征對齊。本文提出了多源特征對齊的兩條準(zhǔn)則，并在此基礎(chǔ)上以二源特征為例介紹了多源特征對齊的方法，進(jìn)而提出了多源特征對齊與融合的框架，以及兩種使用LBP、HOG、Gabor和光流等特征的特征融合策略。最后，將本文提出的多源特征提取方法與目前主流