手話特徴量

1、,手指ならびに非手指情報の畫像計測と統(tǒng)合に基づく実用的手話翻訳の研究,○計畫研究 ウ白 井 良 明　島 田 伸 敬（立 命 館 大 學）三 浦　純　（大 阪 大 學）,手話者をテレビカメラで観測し、両手の動きと形狀ならびに顔の表情や口の動きを解析する。ロバストにするための光源や背景の設定方法、畫像特徴の種類と抽出法、話者の個人差や環(huán)境変動への適応法などを研究。,3年間の研究目的,畫像系列から、複雑背景での手の動きと形狀を

2、解析した。手指情報から手話を認識する研究をした。ロバストな認識を行うため、サンプルデータの自動合成を提案した。顔の特徴を抽出し、表情を認識した。ここでは、手指情報からの手話認識を述べる。,3年間の研究,研究の背景,音聲→手話の変換システム音聲（またはテキスト）に対応する手話をCG表示（比較的早期に実現(xiàn)）手話→音聲の変換システムデータグローブ等で手指形狀データを取得　（手話者の負擔が大きい）手のシルエットと3次元も出るとの

3、照合　（我々の研究だが時間がかかる）,被験者の負擔の少ない、設置の容易な手話認識システムへの要望,,システムの概要,手話→日本語音聲の変換システムの構築,手話,手話特徴,學習データベース,,特徴抽出（畫像処理）,固定カメラからの畫像,學習,,手話特徴,,,認識結果（日本語）,,マッチング,ＨＭＭによる認識,ＨＭＭによる學習,特徴抽出,手話畫像から學習?認識で用いる特徴系列を抽出するための畫像処理カラーの背景差分による人物領域抽出肌

4、色領域抽出肘?手首抽出領域の追跡と隠蔽（手や顔の重なり）検出、分離,特徴量出（肌色の検出）,初期のフレームから肌色をサンプルサンプルから肌色を決定,,肌色検出,,,９０％の等確率楕円,肌色分布（HS色空間）,隠蔽時の処理,,,,,,,,,,隠蔽狀態(tài)の肌色領域,保存してある顔テンプレート畫像,,,,,,,相関の高い部分（顔領域）,相関の低い部分（手領域）,,,,,ブロックごとに相関を計算,,,,,,大體の手領域を取得できるため、

5、　?テンプレートマッチング精度の向上　?手の形狀が変化する際に利用,,テンプレートマッチングによる分離,テンプレート保存,テンプレート保存,,,,,,,逆向きに探索,顔と手の隠蔽処理結果の例,手話特徴量,,,,,顔からの距離,動きの速度?方向,顔からの方向,,,,,,,,,,,,慣性主軸方向,手の面積,突起數(shù),円形度,位置に関する特徴量,形狀に関する特徴量,位置?速度に関する特徴量,顔の近くで行う手話ほど、手の位置や細かい動きが

6、重要,顔からの距離顔からの方向手の速度のx,y方向成分,,,,黒,両手の手話では左右の手の相対位置が重要,,,合う,小さい,両手の手話では左手から見た右手の相対座標を特徴として加える,特徴量を変更した場合の結果,位置?速度に関する特徴量の変更前,位置?速度に関する特徴量の変更後,顔からの距離顔からの方向手の速度のx,y方向成分,特徴量の変更後に正解となった単語,HMMによる學習,HMMはLeft-to-Right単語ごとに狀態(tài)

7、數(shù)を設定する必要がある手の移動や手の形の変化時に対して狀態(tài)が遷移する,狀態(tài)數(shù)決定の例（狀態(tài)數(shù)：5）,速度による狀態(tài)分割,速度の閾値によって運動區(qū)間（M)と靜止區(qū)間（S)に分割ノイズによる運動區(qū)間は靜止區(qū)間とする靜止區(qū)間が短かければ、運動區(qū)間の境界とする運動區(qū)間でも谷が深ければ分割,,,,,,,,,,①,①,②,③,,,S,,,,,M,M,,,M,,M,速度と方向による狀態(tài)分割,動きの速度,動きの方向,(rad),フレーム,0,3

8、0,60,90,0,25,50,0,4,-8,-16,,,,,,,,,,方向変化,,,運動區(qū)間內(nèi)で、運動方向が大きく変化しすれば、分割,,顔からの方向を用いた狀態(tài)分割,,,,速さ,顔からの距離,顔からの方向,黒,従來の狀態(tài)分割法,動きの速さ 動きの方向,顔の近くでゆっくり動く手話では、運動區(qū)間と靜止區(qū)間を分割できない,,,,手話単語の認識実験,一単語あたり３シーケンス用いたデータ狀態(tài)分割において３シーケンスとも狀態(tài)數(shù)の揃ったもの1

9、5単語（両手:５単語?片手:１0単語）組み合わせを変えながら、３シーケンスのうち２つを?qū)W習用、殘りを認識用に用いた２シーケンスで狀態(tài)數(shù)が等しく、殘りの１つは靜止區(qū)間の數(shù)が異なるもの（両手:７単語?片手:１単語）狀態(tài)數(shù)の等しい２つを?qū)W習用（狀態(tài)數(shù)の數(shù)を変えて２つのモデルを作成）、殘りを認識用に用いた,認識結果,両手の手話では高い認識率が得られた片手の手話での認識率は低かったテンプレートマッチングの失敗による影響動きのよく似た手

10、話が多い學習データが少ない,認識結果（両手の手話）,認識データ,學習モデル,両手の手話,認識結果（片手の手話）,片手の手話,認識データ,學習モデル,手形狀データから學習データの合成,手話単語を手の形によって分類それぞれの手話単語から対応する手の形狀データを取り出し、データベースを作成データベースから同じ手形のものを選び、対応部分と入れ替え（位置?速度の特徴はそのまま使用）,ヒ,,,,ヒ,赤,手形狀データから學習データの合成,手話単

11、語を手の形によって分類それぞれの手話単語から対応する手の形狀データを取り出し、データベースを作成データベースから同じ手形のものを選び、対応部分と入れ替え（位置?速度の特徴はそのまま使用）,,,ヒ,赤,,,ヒ,手形による手話単語の分類,半円型,お金,長い?短い,,手形データの合成を行った単語例,HMMによる學習?認識実験,認識データは１つ。學習データはテストデータを除くデータと、　　それから合成されたデータ２つ,５つを?qū)W習データ、

12、１つを認識データとして組み合わせを変えて３回実験,両手の手話17単語、片手の手話21単語,新しく生成されたサンプルを加える場合,各単語、各手話者に３つの元データ２人の手話者のデータ（計６種類）,Experimental result,expert,beginner,合成データの追加により成功した例,好き,赤,赤,嫌い,,,,,手形による合成データの追加により成功,誤認識,,誤認識,,,,Example of failure,,Over