手語識別中訓(xùn)練集數(shù)據(jù)生成及數(shù)據(jù)差異性分析的研究.pdf

1、隨著計算機在現(xiàn)代社會影響的迅速擴大，傳統(tǒng)的基于鼠標(biāo)和鍵盤的人機交互技術(shù)越來越顯示出它們的局限性，所以研究多模式人機接口技術(shù)在現(xiàn)實生活中變得越來越重要。手語識別作為多模式人機接口領(lǐng)域的一項重要組成部分，已經(jīng)吸引了越來越多的專家和學(xué)者們的注意。
　　手語的建模包括建立理論模型和計算模型。理論模型關(guān)注的是理論上對手勢手語功能的理解。理論模型根據(jù)實驗或假設(shè)，對手勢手語相關(guān)問題進行歸納和總結(jié)，進而為計算模型提供有價值的指導(dǎo)。這些研究為建立手

2、勢手語計算模型提供了良好的材料，許多計算模型以這些理論模型為基礎(chǔ)。手語識別作為計算模型中的重要內(nèi)容，其目標(biāo)就是通過計算機提供一種有效的、準(zhǔn)確的機制將手語翻譯成文本或語音使得聾人和聽力正常人之間的交流變得更方便、快捷。
　　理想的手語識別應(yīng)能處理大量的、一般既定的詞匯；最大可能地滿足使用者的移動需要；實時準(zhǔn)確、在復(fù)雜環(huán)境下魯棒地進行識別，并且這種識別應(yīng)該面向真正的、非特定的操手語者。目前非特定人大詞匯量手語識別與特定人系統(tǒng)相比還有較

3、大的差距，造成這一差距的原因包括數(shù)據(jù)本身的差異性矛盾與訓(xùn)練樣本的缺乏。數(shù)據(jù)差異性矛盾使得非特定人手語識別中提取手語數(shù)據(jù)有效的共同特征非常困難。訓(xùn)練樣本缺乏，使得在實際應(yīng)用中模型的表達能力與樣本缺乏之間的矛盾已經(jīng)成為制約識別系統(tǒng)效果的瓶頸。這些問題的解決將對中國手語識別及其他相關(guān)領(lǐng)域具有非常重要的意義。
　　針對這些問題，本文的主要研究目的是探索原始訓(xùn)練樣本缺乏情況下分類器與訓(xùn)練數(shù)據(jù)集的設(shè)計，以及手語數(shù)據(jù)差異性的分析與處理，從而給出

4、了解決問題的策略與思路。具體的，本文的主要研究內(nèi)容概括如下：
　　(1)在原始訓(xùn)練樣本缺乏情況下分類器與訓(xùn)練數(shù)據(jù)集設(shè)計方面，提出基于mean-shift的動態(tài)手勢手語合成策略及合成數(shù)據(jù)驅(qū)動方法，利用mean-shift算法可以方便、快捷地得到密度函數(shù)梯度的變化方向，從而控制衍生的方向和強度。我們設(shè)計的基于mean-shift的動態(tài)手勢手語合成策略可以從向內(nèi)衍生和向外衍生兩種方式考慮，分別對應(yīng)數(shù)據(jù)的泛化和異化過程。生成數(shù)據(jù)的過程不是