面向多方式人機(jī)交互的肢體動(dòng)作識(shí)別研究.pdf

1、隨著機(jī)器人技術(shù)的迅速發(fā)展,服務(wù)機(jī)器人逐漸進(jìn)入家庭生活與服務(wù)領(lǐng)域,在融入人類社會(huì)的過(guò)程中,服務(wù)機(jī)器人需要具備自然的人機(jī)交互能力,現(xiàn)有的人機(jī)交互技術(shù)距離實(shí)際應(yīng)用仍有較大差距,需要學(xué)習(xí)人與人之間多方式的交互模式,提高服務(wù)機(jī)器人的人機(jī)交互技術(shù)水平,確保實(shí)際人機(jī)交互過(guò)程的自然和高效性。本文針對(duì)肢體動(dòng)作識(shí)別在服務(wù)機(jī)器人的人機(jī)交互技術(shù)中的優(yōu)勢(shì),從肢體動(dòng)作中靜態(tài)手勢(shì)、上肢動(dòng)作和步態(tài)識(shí)別三個(gè)主要的交互方式的入手,構(gòu)建多通道人機(jī)交互方法,研究基于肢體動(dòng)作識(shí)

2、別的多方式自然通用人機(jī)交互。
　　文中首先研究針對(duì)實(shí)際人機(jī)交互中靜態(tài)手勢(shì)識(shí)別的難點(diǎn),提出一種基于單目視覺(jué)靜態(tài)手勢(shì)識(shí)別方法,通過(guò)融合多特征的靜態(tài)手勢(shì)表征方法,從顏色、紋理和輪廓信息三個(gè)方面對(duì)靜態(tài)手勢(shì)進(jìn)行描述,實(shí)現(xiàn)對(duì)靜態(tài)手勢(shì)的快速準(zhǔn)確的識(shí)別,對(duì)復(fù)雜背景、部分遮擋及用戶獨(dú)立性,具有較強(qiáng)的魯棒性,并通過(guò)公共數(shù)據(jù)庫(kù)測(cè)試和現(xiàn)有文獻(xiàn)中方法進(jìn)行對(duì)比,驗(yàn)證本文識(shí)別方法的有效性。
　　研究了基于單目圖像和深度圖像融合的上肢動(dòng)作識(shí)別技術(shù),首先通過(guò)

3、對(duì)深度和VGA攝像頭進(jìn)行標(biāo)定,獲取深度圖像和RGB圖像的坐標(biāo)關(guān)系。然后構(gòu)建人體骨骼模型,獲取關(guān)節(jié)主節(jié)點(diǎn)處的空間坐標(biāo),建立基于球坐標(biāo)系的三維直方圖分布,通過(guò)各個(gè)主節(jié)點(diǎn)的分布情況實(shí)現(xiàn)對(duì)不同上肢動(dòng)作的識(shí)別,對(duì)比現(xiàn)有的上肢動(dòng)作識(shí)別方法,能夠有效的消除用戶個(gè)體的手勢(shì)表達(dá)在時(shí)間和空間上的差異性,并在復(fù)雜環(huán)境條件下具有良好的測(cè)試效果。
　　提出一種基于激光雷達(dá)的步態(tài)識(shí)別技術(shù),在非接觸的條件下從室內(nèi)較大范圍內(nèi)激光數(shù)據(jù)中,快速提取用戶的步態(tài)信息。該

4、方法通過(guò)激光數(shù)據(jù)的預(yù)處理,提取數(shù)據(jù)中的人腳數(shù)據(jù)段,獲取人腳的位置信息,通過(guò)建立的用戶行走步態(tài)模型,從連續(xù)數(shù)據(jù)幀中的人腳位置信息的變化中獲得人步態(tài)運(yùn)動(dòng)中的行走速度、單步長(zhǎng)、單步時(shí)間和步態(tài)速率等步態(tài)特征,為人機(jī)交互提供重要的交互信息。通過(guò)實(shí)驗(yàn)驗(yàn)證基于激光雷達(dá)的步態(tài)識(shí)別方法的有效性,并對(duì)行走中男女步態(tài)的特點(diǎn)進(jìn)行分析。
　　最后在智能服務(wù)機(jī)器人實(shí)驗(yàn)硬件平臺(tái)上構(gòu)建基于肢體動(dòng)作識(shí)別的多方式人機(jī)交互系統(tǒng),通過(guò)建立多方式交互信息的語(yǔ)義理解模型,綜

5、合肢體動(dòng)作,表情等多方式交互信息進(jìn)行機(jī)器人的多方式人機(jī)交互實(shí)驗(yàn),讓機(jī)器人與用戶實(shí)現(xiàn)多方式人機(jī)交互的過(guò)程,驗(yàn)證基于肢體動(dòng)作識(shí)別的多方式人機(jī)交互性能,并建立多方式人機(jī)交互系統(tǒng)的評(píng)估機(jī)制,對(duì)多方式人機(jī)交互效果進(jìn)行實(shí)驗(yàn)分析。
　　本論文針對(duì)服務(wù)機(jī)器人在實(shí)際應(yīng)用中自然人機(jī)交互的要求,通過(guò)肢體動(dòng)作識(shí)別技術(shù)和多方式人機(jī)交互系統(tǒng)的研究提升服務(wù)機(jī)器人的交互性能,有利于機(jī)器人實(shí)際應(yīng)用及產(chǎn)業(yè)化發(fā)展,同時(shí)對(duì)多方式人機(jī)交互實(shí)際應(yīng)用效果進(jìn)行評(píng)估,為多方式人機(jī)