唇讀識(shí)別研究與實(shí)現(xiàn).pdf

1、唇讀是指通過觀察說話人在發(fā)音過程中唇部的變化，“讀出”或者“部分讀出”其所說的內(nèi)容。而計(jì)算機(jī)唇讀是指通過建立唇讀模型和分析發(fā)音過程中唇部運(yùn)動(dòng)參數(shù)，定量地處理唇動(dòng)信息從而對(duì)視頻中的序列圖像進(jìn)行分類和識(shí)別，或者輔助語音識(shí)別來提高語音識(shí)別率。對(duì)唇讀的研究將對(duì)耳聾患者、執(zhí)法機(jī)構(gòu)以及嘈雜環(huán)境中的工作者具有實(shí)際應(yīng)用意義。
　　本文主要研究單視覺通道下基于孤立字的唇讀系統(tǒng)，在唇部分割、特征參數(shù)選擇和提取以及唇讀識(shí)別三個(gè)方面展開研究，論文的主要工

2、作如下:
　　(1)唇部分割是唇讀的核心部分。本文基于BP神經(jīng)網(wǎng)絡(luò)和基于Lab色彩空間兩種方法進(jìn)行唇部分割，并對(duì)兩種方法在分割時(shí)間、分割效果、分割方法復(fù)雜度方面做出比較，實(shí)驗(yàn)結(jié)果表明，基于Lab空間的唇部分割不僅方法簡單，處理速度快而且分割效果也較好，適合唇讀系統(tǒng)對(duì)視頻處理時(shí)實(shí)時(shí)性的要求。
　　(2)在唇部特征參數(shù)選擇時(shí)，本文選擇外唇高度、嘴角間距離、張開嘴面積為特征參數(shù)。在唇部跟蹤過程中提取出三個(gè)特征參數(shù)值，通過研究特征參

3、數(shù)曲線變化，提取出發(fā)音過程中的有效部分，進(jìn)而提取出10幀關(guān)鍵幀，從而解決了由于說話速度不均勻造成時(shí)間長度不一致的問題。
　　(3)唇讀識(shí)別模塊，本文采用基于神經(jīng)網(wǎng)絡(luò)及基于相關(guān)系數(shù)的相關(guān)匹配法兩種方法進(jìn)行唇讀的識(shí)別，二者的識(shí)別率分別為62.5％和81.25％。經(jīng)對(duì)比分析識(shí)別結(jié)果，后者不僅方法簡單、易操作而且在識(shí)別過程中不需要像神經(jīng)網(wǎng)絡(luò)一樣需要太多訓(xùn)練樣本，只需將輸入數(shù)據(jù)與數(shù)據(jù)庫中數(shù)據(jù)分別作相關(guān)，求取最大相關(guān)系數(shù)即可。
　　(4