基于視頻拼接的中國(guó)手語合成關(guān)鍵技術(shù)研究.pdf

1、手語通過手形和位置的組合變化來傳遞信息與表達(dá)語義，是聽障人群的主要溝通工具。手語合成就是把自然語言翻譯成手語的技術(shù)，為聽障人與正常人之間的溝通搭起了橋梁。基于視頻拼接的手語合成就是將手語數(shù)據(jù)庫中的手語詞視頻按輸入文本拼接成新的手語視頻。由于待拼接的視頻片段，可能存在動(dòng)作差異。為了得到更自然流暢的合成手語，需要生成中間過渡幀自然過渡前后手語動(dòng)作?，F(xiàn)有的依賴于過渡形態(tài)庫的中間過渡幀生成方法，需要大量的人工工作。因此，設(shè)計(jì)更自動(dòng)化的過渡幀生成

2、算法具有重要的研究?jī)r(jià)值和應(yīng)用價(jià)值。
　　本文基于對(duì)手語運(yùn)動(dòng)特點(diǎn)的分析，利用Kinect設(shè)備采集數(shù)據(jù)，重新設(shè)計(jì)了手語合成數(shù)據(jù)處理方案，并重點(diǎn)研究其中的過渡幀生成算法。本文提出的手語合成基于Kinect采集顏色信息、深度信息、骨架信息構(gòu)建手語視頻數(shù)據(jù)庫，先經(jīng)過預(yù)處理得到過渡幀數(shù)和骨架過渡路徑，再聯(lián)合網(wǎng)格形變和圖像插補(bǔ)算法生成中間過渡幀，從而得到最終合成的手語視頻。本論文主要的研究?jī)?nèi)容如下:
　　1、研究手語視頻數(shù)據(jù)預(yù)處理。作為過

3、渡幀生成的準(zhǔn)備工作，預(yù)處理包括對(duì)輸入的文本分詞，選擇最佳拼接位置，估計(jì)過渡幀數(shù)以及計(jì)算骨架過渡路徑，得到的結(jié)果將輸入到后續(xù)過渡幀生成模塊。
　　2、研究網(wǎng)格形變算法。手語詞視頻的中間過渡幀應(yīng)該符合人體運(yùn)動(dòng)規(guī)律。為了使形變更好地模擬動(dòng)作變化的過程，提出一種局部控制的近似剛性形變算法，即在傳統(tǒng)的形變能量中加入稀疏位移約束和平滑約束，構(gòu)建具有近似剛性、局部性、平滑性和形狀感知性的形變模型，并用“局部-全局”迭代算法求解。利用預(yù)處理得到的

4、過渡骨架對(duì)待拼接手語視頻幀作形變操作，得到的前向和后向形變序列作為后續(xù)圖像插補(bǔ)操作的輸入。
　　3、研究圖像插補(bǔ)算法。因?yàn)樾巫冎皇轻槍?duì)單源視頻幀的操作，為了使過渡幀在符合人體運(yùn)動(dòng)規(guī)律的同時(shí)表現(xiàn)信息的過渡過程，本論文提出一種形變輔助的圖像插補(bǔ)算法。利用形變得到的前向和后向形變序列，考慮源相似性和時(shí)間相關(guān)性，設(shè)計(jì)一種迭代優(yōu)化策略進(jìn)行圖像插補(bǔ)。為了更好地保留圖像細(xì)節(jié)，綜合利用顏色和梯度距離度量圖像塊的相似性。最終融合前向和后向形變序列，