非特定人手語數(shù)據(jù)的流形結(jié)構(gòu)分析與識別.pdf

1、手語識別研究的目的是增進聾人與聽力健康人之間無障礙的交流，提高計算機對人體語言的理解能力。非特定人手語識別是推動手語識別系統(tǒng)實用化所必須解決的問題。目前，非特定人手語識別與特定人手語識別性能相比還有較大的差距，其主要原因在于數(shù)據(jù)本身的差異性矛盾與訓(xùn)練樣本的匱乏。數(shù)據(jù)差異性矛盾使得非特定人手語識別中提取手語數(shù)據(jù)有效的共同特征非常困難。在實際應(yīng)用中，模型的表達能力與樣本的缺乏之間的矛盾已經(jīng)成為制約識別系統(tǒng)效果的瓶頸。
　　為解決上述兩

2、方面的問題，本文將流形思想結(jié)合到傳統(tǒng)的HMM手語模型中，主要的研究工作如下：
　　1．通過Isomap算法直觀展現(xiàn)手語數(shù)據(jù)的流形結(jié)構(gòu)。同類數(shù)據(jù)集在幾何上具有某種由內(nèi)在不變性形成的嵌套流形結(jié)構(gòu)，這種結(jié)構(gòu)本身對應(yīng)了單一的流形概念。Isomap方法是最常用的流形可視化算法，其對手語數(shù)據(jù)的處理結(jié)果證明了手語數(shù)據(jù)本身包含著流形結(jié)構(gòu)，可將HMM模型中的狀態(tài)類與流形概念對應(yīng)起來，挖掘其內(nèi)在的不變性。
　　2．根據(jù)Isomap可視化結(jié)果，提

3、出一種TV/HMM手語模型。利用流形概念具有一定學(xué)習(xí)和推理能力的優(yōu)點，引入切向量來線性表達數(shù)據(jù)的可變性，對類內(nèi)允許的變化程度進行有效建模，從而使分類器對某些不造成類別變化的數(shù)據(jù)變化不敏感，并且在訓(xùn)練集較小的情況下，通過對幾何結(jié)構(gòu)的描述，獲得對數(shù)據(jù)個體差異的形式化描述。TV/HMM模型既加入了對特異性因素的處理，又彌補了訓(xùn)練數(shù)據(jù)不足造成的缺陷。
　　3．實現(xiàn)了基于TV/HMM的手語詞識別系統(tǒng)。系統(tǒng)利用最大似然估計從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)切向