唇讀系統(tǒng)的實驗與研究.pdf

1、對計算機唇讀的研究在語音識別、人機智能接口、多媒體系統(tǒng)以及人臉數(shù)據(jù)壓縮等領域具有重要的理論意義和實用價值。本文搭建了一個基本的唇讀識別系統(tǒng)，對唇讀的基本技術問題包括實時唇動檢測、唇動定位與特征提取、唇讀識別和唇讀融合進行了研究和實踐，并建立了適合進行中國唇讀研究的雙模態(tài)語料庫CAVDatabase。具體包括以下研究內(nèi)容：在唇的檢測方面，對傳統(tǒng)唇色模型進行了改進，提出了自適應色度濾波模型。通過對人臉區(qū)域的實時分析，自適應的找到唇色與膚色的

2、聚類范圍，從而修正唇色模型，利用該模型實現(xiàn)了實時唇動檢測與跟蹤。唇色自適應模型使得系統(tǒng)可以對不同的唇色、光照和攝像機色調(diào)等客觀條件進行自適應調(diào)整，提高了系統(tǒng)在自然條件下的魯棒性和實用性。 在唇動定位與特征提取方面，通過自適應色度濾波技術對唇色進行增強處理，解決了可變模板方法的難點問題，即對圖像質(zhì)量的高度依賴，使得唇的定位與特征提取更加準確。在特征提取方面，將基于模板(model-based)和基于圖像的(image-based)

3、方法相結(jié)合，取長補短，有效地得到了唇部的運動信息。 在唇讀識別方面，利用半連續(xù)HMM模型實現(xiàn)了對82個口型序列圖像的訓練和識別。對模型在唇讀識別應用中的一些具體問題進行了探討，建立了適合唇讀的HMM模型。最終取得了特定人40.2％，非特定人30.9％的識別率。 在唇讀融合方面，提出了帶先驗知識的DS理論，對不同程度的噪聲語音可提高識別率10％-30％。 為了進行唇讀系統(tǒng)的研究和實驗，本文建立了涵蓋82個漢語發(fā)音適