手勢識別與民族弓弦樂器虛擬演奏研究.pdf

1、基于計算機視覺的手勢識別被廣泛地應用在人機交互領(lǐng)域。它能夠利用相關(guān)算法對攝像機捕獲的圖像序列進行分析并識別其中的手勢。本文主要通過對手勢識別的研究實現(xiàn)了一個虛擬樂器演奏系統(tǒng)，增加了樂器演奏的趣味性，不僅能夠吸引更多的人來學習民族樂器的演奏，還可以為民族非物質(zhì)文化遺產(chǎn)的保護和傳承做出貢獻。
　　本文首先對虛擬演奏系統(tǒng)中使用到的相關(guān)技術(shù)進行了簡要介紹，包括增強現(xiàn)實、體感交互和手勢識別，并對常見的幾類手勢識別技術(shù)進行了詳細的分析比較，然

2、后選擇了適于本系統(tǒng)的自然交互環(huán)境的基于計算機視覺的手勢識別方案。然后根據(jù)手勢識別的一般流程設計并實現(xiàn)相關(guān)算法。根據(jù)二胡演奏的實際情況，針對左手手勢識別，使用基于3D模型的手勢建模方法定義了五種手勢，利用基于反向動力學的手勢擬合算法對二胡演奏中的五種基本手勢進行模擬和識別，主要介紹了最佳擬合位置的探索算法；針對右手手勢識別，使用基于表觀的手勢建模方法提取Hu矩特征對定義的兩種右手手勢進行建模，并使用基于輪廓匹配的手勢識別方法進行識別。

3、r>　　最后，利用手勢識別驅(qū)動實現(xiàn)了基于增強現(xiàn)實環(huán)境的虛擬二胡演奏系統(tǒng)。采用深度相機Kinect作為輸入設備，充分利用Kinect提供的彩色圖像、深度圖像和骨骼數(shù)據(jù)信息構(gòu)建增強現(xiàn)實場景，模擬二胡的虛擬演奏。在場景構(gòu)建的過程中，對人體手部和樂器模型的遮擋問題進行處理，利用深度信息和膚色模型對手部進行分割，然后將分割出來的手部圖像繪制在正確的位置，同時對樂器模型繪制的坐標進行調(diào)整，使最終結(jié)果為看起來用戶手持樂器。論文的最后還討論了系統(tǒng)實現(xiàn)過