中國手語識別中自適應問題的研究.pdf

1、隨著計算機的發(fā)明，模式識別得以出現(xiàn)和發(fā)展。手語識別作為模式識別研究中的一個熱點問題，近年來受到越來越多研究者的重視。手語識別，是借助計算機自動將手語信號轉換為文本或語音的過程。手語識別具有重要的社會現(xiàn)實意義和巨大的理論研究價值。首先，手語識別能夠在聾啞人與健聽人之間架起橋梁，從而促進社會和諧發(fā)展。其次，手語是一種相對規(guī)范的手勢集合，手語識別與其它手勢分析問題相比相對簡單，可以作為更為普遍的手勢分析研究的一個前期平臺。最后，手語識別涉及計

2、算機視覺、模式識別、機器學習、智能人機接口等研究領域，其研究有助于促進這些領域內其它類似問題的研究。
　　手語識別研究經過多年的積累，已經在特定人識別領域取得了很好的結果。然而，當測試者與訓練集中所有人手語打法差異較大時，系統(tǒng)性能下降明顯。采集足夠多的訓練數(shù)據(jù)訓練普適模型，能夠部分解決該問題。然而，由于不同人做相同手語差異較大，因此，模型訓練不易收斂。而且，普適模型參數(shù)分布比較平緩，能夠對大部分測試者取得較好的識別結果；但是，對于

3、特定用戶，其性能與特定人模型差距明顯。自適應手語識別利用新用戶數(shù)據(jù)對普適模型的參數(shù)進行修正，使模型更適合于新用戶。該方法與人類認知事物由一般到特殊的機理相契合。
　　本文圍繞手語識別的自適應問題展開研究。根據(jù)自適應數(shù)據(jù)所屬類別是否已知，自適應分為有監(jiān)督自適應和無監(jiān)督自適應。有監(jiān)督自適應中需要已知自適應數(shù)據(jù)的所屬類別，因此需要用戶顯式采集自適應數(shù)據(jù)。由于顯式的數(shù)據(jù)采集過程需要用戶參與，對系統(tǒng)的易用性造成損害。因此，有監(jiān)督自適應的核心

4、問題是：如何利用盡可能少的自適應數(shù)據(jù)對模型參數(shù)進行修正。無監(jiān)督自適應中不需要自適應數(shù)據(jù)的所屬類別，因此自適應數(shù)據(jù)可以在用戶使用系統(tǒng)的同時自動采集，無需用戶參與。然而，使用無標號數(shù)據(jù)之前必須對其進行標注，以確定其類別。因此，無監(jiān)督自適應的核心問題是：如何有效利用大量的無標號數(shù)據(jù)對模型參數(shù)進行修正。
　　對于有監(jiān)督自適應問題，提出了基于基本單元提取的手語識別自適應方法和基于模范均值選擇和最大后驗概率/循環(huán)矢量場平滑（Maximum A

5、 Posteri-ori/Iterative Vector Field Smoothing, MAP/IVFS）的手語識別自適應方法。由于基于詞根的手語識別方法能夠取得同基于詞匯的手語識別方法相當?shù)淖R別結果，因此，本文提出基于詞根的手語識別自適應方法。實驗結果證明，同基于詞匯的方法相比，基于詞根的手語識別自適應方法能夠在基本保持原有識別率的基礎上，大大降低所需采集的自適應數(shù)據(jù)數(shù)量。進一步，分析中國手語的多數(shù)據(jù)流和詞間片段數(shù)據(jù)相似的特點，

6、可以對模型均值進行聚類以便得到更底層的手語詞編碼。根據(jù)此編碼，可以通過部分手語詞樣本，生成詞匯集中其它詞匯的手語詞樣本，利用這些樣本進行模型自適應，能夠提高模型的識別率。
　　實驗結果證明，該方法能夠進一步降低所需采集的自適應數(shù)據(jù)數(shù)量。為進一步減少自適應數(shù)據(jù)，提出了基于模范均值選擇和MAP/IVFS的手語識別自適應方法。通過對手語詞模型的均值向量進行聚類，可以提取出模范均值向量子集，進而得到模范手語詞子集，該子集能夠表征新用戶的個

7、性特征。僅采集該子集中的詞匯的新用戶數(shù)據(jù)，可以對相應的模型進行自適應。未得到自適應的模型，可以通過模型之間的相關性和得到自適應的模型參數(shù)估計得到。
　　盡管有監(jiān)督自適應能夠以較少的數(shù)據(jù)對模型參數(shù)進行修正，然而，顯式的數(shù)據(jù)采集過程必不可少。無監(jiān)督自適應可以通過隱式采集自適應數(shù)據(jù)對模型參數(shù)進行修正。對于無監(jiān)督自適應問題，提出了結合簡化多項式段模型（Simplified Polynomial Segment Model, SPSM）和隱

8、馬爾可夫模型（Hidden Markov Model, HMM）的手語識別無監(jiān)督自適應方法和基于假設比較導引交叉驗證的無監(jiān)督自適應方法。HMM適合描述具有明顯狀態(tài)跳轉的手語詞，對于一些無明顯狀態(tài)跳轉的漸變的手語詞，其描述能力較弱，這源于HMM幀間數(shù)據(jù)獨立同分布的假設。SPSM能夠描述幀間數(shù)據(jù)的相關性，因此適合于描述另一類手語詞。結合SPSM和HMM，對無標號數(shù)據(jù)進行標注，能夠增加標注準確率，進而提升無監(jiān)督自適應性能。傳統(tǒng)的自學習自適應方