現(xiàn)場表演驅(qū)動的動作匹配、編排與識別.pdf

1、感知用戶界面利用人類的感知能力以直觀自然的方式表達(dá)語義信息。基于現(xiàn)場表演的人機(jī)交互技術(shù)是感知用戶界面的重要組成部分，允許用戶直接以自然的身體運(yùn)動來控制應(yīng)用程序。因其前所未有的革命性操控方式，引起了學(xué)者們的極大研究興趣，近年來逐漸成為計(jì)算機(jī)動畫、虛擬現(xiàn)實(shí)、視頻游戲等相關(guān)領(lǐng)域的一個(gè)研究熱點(diǎn)。本文的主要目的是針對該技術(shù)的關(guān)鍵問題展開研究，探索了運(yùn)動索引構(gòu)建、反應(yīng)性動作生成、運(yùn)動自適應(yīng)、訓(xùn)練樣本自動生成、自動特征提取、機(jī)器學(xué)習(xí)等核心算法。在此基

2、礎(chǔ)上，分別以Xsens運(yùn)動傳感器、Wii游戲機(jī)手柄、5DT數(shù)據(jù)手套及諾基亞N95手機(jī)等為輸入設(shè)備，開發(fā)了PC和手機(jī)平臺上的多個(gè)原型應(yīng)用系統(tǒng)，并通過一系列主、客觀實(shí)驗(yàn)驗(yàn)證了算法的有效性。
　　 具體來說，本文的主要研究工作包括以下幾個(gè)方面：
　　 1.基于運(yùn)動感知的直觀運(yùn)動檢索。在三維角色動畫制作過程中，如何直觀地表示檢索樣例是基于內(nèi)容的運(yùn)動檢索的一個(gè)關(guān)鍵問題。本文利用幾何特征為大規(guī)模運(yùn)動數(shù)據(jù)庫建立了索引。在運(yùn)動檢索時(shí)，用

3、戶佩戴運(yùn)動傳感器大致表演構(gòu)想的運(yùn)動，系統(tǒng)通過一個(gè)由粗到細(xì)的檢索過程從后臺大規(guī)模運(yùn)動數(shù)據(jù)庫中自動搜索出與之匹配的運(yùn)動片段。本文不僅給動畫師們提供了一種直觀可視的交流溝通方式，而且能夠大大提高運(yùn)動素材重用時(shí)的運(yùn)動檢索效率。
　　 2.符合物理約束的交互式人體反應(yīng)動作生成。為虛擬人生成反應(yīng)性動作是虛擬現(xiàn)實(shí)和視頻游戲等三維圖形應(yīng)用中的一個(gè)關(guān)鍵問題。本文介紹了一個(gè)基于物理約束的直觀虛擬人控制系統(tǒng)。當(dāng)用戶作出交互動作時(shí)，系統(tǒng)首先根據(jù)用戶的示

4、范表演選擇一系列候選動作片段；然后通過物理約束對候選動作進(jìn)行排序，最佳的動作片段被選中用以驅(qū)動虛擬人。為了使檢索得到動作更加完美地滿足虛擬世界的運(yùn)動學(xué)和動力學(xué)約束，系統(tǒng)將實(shí)時(shí)地對其做進(jìn)一步的編輯調(diào)整。
　　 3.運(yùn)動傳感驅(qū)動的3D直觀手勢交互。為了使手勢交互方式較少受到場地和光線地限制，本章提出利用加速度傳感器作為輸入設(shè)備進(jìn)行手勢識別的方法。對每種手勢只要求用戶做一次動作采樣，系統(tǒng)通過添加噪聲等手段來提高訓(xùn)練數(shù)據(jù)生成的自動化程度

5、；訓(xùn)練數(shù)據(jù)經(jīng)過預(yù)處理和特征提取之后用于訓(xùn)練機(jī)器學(xué)習(xí)模型。在包含70種手勢的測試集上進(jìn)行識別實(shí)驗(yàn)和可用性評估，結(jié)果表明該方法能夠顯著地提升人機(jī)交互中的用戶體驗(yàn)。
　　 4.現(xiàn)場表演驅(qū)動的動作編排?，F(xiàn)場表演是一種直觀自然地展示動作編排者編排意圖的方法。本文開發(fā)了一個(gè)基于三軸加速傳感器的動作編排系統(tǒng)。首先，要求用戶在預(yù)先指定的身體部位放置加速傳感器并進(jìn)行示范表演。然后，系統(tǒng)通過隱馬爾科夫模型識別用戶表演的動作，最后，系統(tǒng)通過運(yùn)動時(shí)間調(diào)

6、整和夸張動作編輯等方法對識別出的動作進(jìn)行調(diào)整，得到最終動畫序列。實(shí)驗(yàn)結(jié)果表明本系統(tǒng)對初學(xué)者來說簡單易用，可以有效地識別時(shí)空差異性較大的動作。
　　 5.基于層次化機(jī)器學(xué)習(xí)模型的手語識別。手語本質(zhì)上是按照一定規(guī)則表演的時(shí)序運(yùn)動序列。為了輔助聾啞人與正常人之間的溝通交流，本文開發(fā)了一個(gè)基于機(jī)器學(xué)習(xí)的手語識別系統(tǒng)。通過運(yùn)動捕捉設(shè)備和數(shù)據(jù)手套為每個(gè)手語詞采集了覆蓋各種時(shí)空差異性的樣例。提出了一種層次化機(jī)器學(xué)習(xí)模型，可以較低的代價(jià)快速排除