基于多模態(tài)輸入的手勢(shì)識(shí)別算法研究.pdf

1、作為新一波科技浪潮的排頭兵，人工智能正以前所未有的速度滲透到人類(lèi)生活的方方面面。其中，人機(jī)交互技術(shù)作為人工智能領(lǐng)域的重要組成部分，受到廣泛的關(guān)注。在眾多的人機(jī)交互手段中，手勢(shì)交互是最接近人類(lèi)交流習(xí)慣也是最自然的一種交互方式，相關(guān)手勢(shì)識(shí)別技術(shù)可以被用于聾啞人教學(xué)、智能家居和虛擬現(xiàn)實(shí)等應(yīng)用場(chǎng)合，具有廣泛的應(yīng)用前景。在上述背景下，本文對(duì)基于視覺(jué)的靜態(tài)及動(dòng)態(tài)手勢(shì)識(shí)別問(wèn)題進(jìn)行了重點(diǎn)研究，取得了一些富有實(shí)際意義的研究成果。
　　本文的主要工作

2、與創(chuàng)新點(diǎn)如下:
　　1.深入研究了靜態(tài)手勢(shì)識(shí)別問(wèn)題。針對(duì)傳統(tǒng)的手勢(shì)檢測(cè)方法不能對(duì)前臂、手掌和手指區(qū)域進(jìn)行很好的區(qū)分，導(dǎo)致手勢(shì)識(shí)別效果低下的問(wèn)題，提出了一種有效的、基于直線檢測(cè)的冗余手臂去除方法。實(shí)驗(yàn)結(jié)果驗(yàn)證了方法的有效性。
　　2.現(xiàn)有的靜態(tài)手勢(shì)識(shí)別算法大都首先利用形狀分解方法提取手指特征，然后利用模板匹配技術(shù)實(shí)現(xiàn)對(duì)手勢(shì)的分類(lèi)。因此，手指檢測(cè)算法性能的好壞會(huì)對(duì)整個(gè)系統(tǒng)的識(shí)別性能產(chǎn)生直接影響。為此，本文從以下三個(gè)方面對(duì)手指檢測(cè)

3、與識(shí)別算法進(jìn)行了改進(jìn):
　　(1)提出了一種新的融合形態(tài)學(xué)處理和曲率信息的手指區(qū)域分割算法;
　　(2)提出了一種基于多參數(shù)的改進(jìn)相似性度量方法;
　　(3)提出了一種基于分層模板匹配的手勢(shì)識(shí)別方法。實(shí)驗(yàn)結(jié)果表明，本文所提出的手勢(shì)檢測(cè)與識(shí)別方法能有效克服雜亂背景、類(lèi)膚色區(qū)域等不利因素的影響，取得較為理想的檢測(cè)與識(shí)別效果。
　　3.提出了一種基于多卷積神經(jīng)網(wǎng)絡(luò)融合的動(dòng)態(tài)手勢(shì)識(shí)別方法。該方法從給定的深度圖像序列出發(fā)，