基于N-gram模型和句法模型的連續(xù)中國(guó)手語(yǔ)識(shí)別方法研究.pdf

1、近年來(lái)，智能人機(jī)交互在人們的日常生活中占據(jù)了越來(lái)越重要的地位。隨著人機(jī)交互的不斷發(fā)展，要求人們使用更加直觀快捷的交流方式。手語(yǔ)作為一種特殊的語(yǔ)言，不僅可以幫助聾啞人與其他人進(jìn)行正常的交流，而且手語(yǔ)手勢(shì)也可以作為一種新的交流方法應(yīng)用在人機(jī)交互中。手語(yǔ)包含了手的形狀、位置、運(yùn)動(dòng)、朝向和面部表情等豐富的信息，進(jìn)行手語(yǔ)識(shí)別研究可以促進(jìn)計(jì)算語(yǔ)言學(xué)、空間幾何學(xué)、模式識(shí)別學(xué)、計(jì)算機(jī)視覺(jué)、圖像圖形學(xué)、機(jī)器人學(xué)等多個(gè)學(xué)科的發(fā)展。因此，手語(yǔ)手勢(shì)識(shí)別對(duì)提高計(jì)

2、算機(jī)的人類語(yǔ)言理解水平和發(fā)展人機(jī)交互技術(shù)具有重要意義。
　　 表面肌電(Surface Electromyography，SEMG)傳感器和加速計(jì)(Accelerometer，ACC)由于其結(jié)構(gòu)簡(jiǎn)單、成本較低、便于攜帶的特點(diǎn)，成為了目前手勢(shì)識(shí)別研究中兩種常用的傳感器設(shè)備。SEMG和ACC信息分別從不同的角度對(duì)手語(yǔ)動(dòng)作的特征進(jìn)行描述。SEMG反映了手的形態(tài)、關(guān)節(jié)的伸屈、手部肌肉的收縮放松等信息，在精細(xì)手指動(dòng)作識(shí)別上有著獨(dú)特優(yōu)勢(shì)，但

3、它本身是一種微弱的電生理信號(hào)，對(duì)傳感器安放位置比較敏感，其信號(hào)采集時(shí)受外界影響較大。加速計(jì)可以對(duì)手勢(shì)的大尺度運(yùn)動(dòng)信息進(jìn)行檢測(cè)，但其無(wú)法精確檢測(cè)出靜態(tài)手勢(shì)和小幅度運(yùn)動(dòng)手勢(shì)。
　　 本文一方面結(jié)合表面肌電（surface electromyography，SEMG）傳感器和加速計(jì)（accelerometer，ACC）在手勢(shì)信息檢測(cè)上的不同優(yōu)勢(shì)，提出了基于兩種傳感器信息融合的手語(yǔ)手勢(shì)識(shí)別方法。另一方面針對(duì)SEMG等信號(hào)受個(gè)體動(dòng)作差異影

4、響較大的問(wèn)題，將統(tǒng)計(jì)語(yǔ)言模型和句法模型引入到手語(yǔ)識(shí)別中，利用語(yǔ)言學(xué)的知識(shí)對(duì)手語(yǔ)識(shí)別結(jié)果進(jìn)行檢測(cè)，提高多類手語(yǔ)手勢(shì)動(dòng)作的識(shí)別率,擴(kuò)展可識(shí)別詞匯量。
　　 本文主要研究?jī)?nèi)容和研究成果如下：
　　 (1)將手語(yǔ)詞拆分成詞根的組合形式，以“詞根”作為手語(yǔ)識(shí)別基本單元。用詞根代替整個(gè)手語(yǔ)詞進(jìn)行多流隱馬爾科夫（Hidden Markov Model，HMM）建模識(shí)別，并使用多級(jí)決策樹(shù)方法降低識(shí)別復(fù)雜度，有效縮短了訓(xùn)練和識(shí)別所消耗的時(shí)

5、間，提高了識(shí)別率。
　　 (2)針對(duì)中國(guó)手語(yǔ)識(shí)別中出現(xiàn)的錯(cuò)誤，將統(tǒng)計(jì)語(yǔ)言模型引入了識(shí)別過(guò)程，提出了基于N-gram模型的中國(guó)手語(yǔ)詞根識(shí)別糾錯(cuò)方法。該方法首先通過(guò)對(duì)常見(jiàn)的手語(yǔ)語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)，得到相應(yīng)的詞根接續(xù)概率，然后利用互信息，轉(zhuǎn)移概率等對(duì)相鄰的詞根組進(jìn)行判定，從中檢查出識(shí)別錯(cuò)誤的詞根。這種方法的優(yōu)點(diǎn)在于用來(lái)進(jìn)行詞根接續(xù)判斷的互信息等參數(shù)來(lái)源于語(yǔ)料庫(kù)的概率信息，不會(huì)受到信號(hào)本身差異性的影響。使用此方法，得到的手語(yǔ)詞根識(shí)別率達(dá)到9