基于多視圖立體視覺和迭代網(wǎng)格變形的個性化人手三維建模.pdf

1、手是人在與物理世界交互中使用得最為頻繁的工具。在虛擬現(xiàn)實和交互游戲中，使用個性化而非通用的人手模型能夠提升用戶對虛擬環(huán)境的沉浸感和認同感，在一定程度上減輕了交互的難度，并提高了交互的準確性。然而構(gòu)建個性化的人手模型是一項非常具有挑戰(zhàn)性的工作，原因在于人手的幾何形狀極其復(fù)雜，并且缺少足夠的紋理特征，尤其是在使用低端設(shè)備和沒有任何標記的情況下。
　　 本文利用網(wǎng)絡(luò)攝像頭，對用戶的裸手進行個性化的三維建模?；舅悸肥鞘紫仍邳c線面三個層

2、次上提取用戶手的幾何特征，通過立體重建構(gòu)建三維點云，然后用點云指導(dǎo)通用的人手模板進行網(wǎng)格變形，逐步滿足用戶手的幾何特征。本文綜合使用輪廓凸包缺陷點（點層面）、輪廓點（線層面），以及SIFT、SURF和Sobel濾波響應(yīng)（面層面），描述用戶手的幾何特征。注意到對于低分辨率的圖像來說，這些特征的重要性和可靠性都是依次降低的;并且注意到下一次網(wǎng)格變形所需要的點云與模板之間的頂點對應(yīng)關(guān)系，依賴于上一次網(wǎng)格變形的結(jié)果。因此本文提出了一種層次式的構(gòu)

3、建個性化人手三維模型的方法，即通過逐步網(wǎng)格變形，將通用的人手模板變形到具有用戶手的幾何特征，從而避免了一次性網(wǎng)格變形中低可靠性的特征沖淡高可靠性特征的情況。隨著網(wǎng)格變形的進行，通用的人手模板越來越與用戶的手相似，同時對用戶手幾何特征的準確性要求逐漸降低。這樣本文就在低端設(shè)備和高精度之間做出了一個合理的折中方案。
　　 具體而言，本文的研究工作和主要貢獻包括以下三個方面:
　　 (1)提出了一種新的個性化人手三維建模方法。

4、由于使用了低廉的硬件設(shè)備，在人手皮膚圖像紋理較弱、缺少足夠的強特征的情況下，很難利用傳統(tǒng)的視覺三維重建方法直接獲得人手的三維模型。為此，本文首先從人手圖像中提取點線面三個層次的特征點，并通過三維重建技術(shù)獲得點云數(shù)據(jù)，以點云數(shù)據(jù)為約束，指導(dǎo)通用的人手模板分步進行網(wǎng)格變形，使得模板逐步滿足用戶手的幾何特征，最終獲得個性化的人手三維模型。
　　 (2)提出了一種迭代網(wǎng)格變形算法。由于在網(wǎng)格變形中，模板和點云數(shù)據(jù)之間的頂點對應(yīng)關(guān)系與網(wǎng)格

5、變形處于一種相互依賴、相互耦合的關(guān)系，因此本文通過閾值的設(shè)置，將這兩者交叉迭代進行，逐步獲得最佳的網(wǎng)格變形效果。
　　 (3)提出了一種基于單幅圖像恢復(fù)輪廓三維信息的方法。為了充分利用圖像的像素信息，本文要求人手盡量撐滿整幅圖像。根據(jù)本文的實際情況，在雙目視覺中，左右視圖圖像中的人手輪廓并不存在對應(yīng)關(guān)系，因此不能通過特征匹配的方法直接獲得人手輪廓的深度信息。本文以雙目視覺的三維重建基本原理為基礎(chǔ)，假設(shè)人手輪廓點的深度信息在經(jīng)過點