基于Kinect的人體動(dòng)作識(shí)別系統(tǒng)與實(shí)現(xiàn).pdf

1、人體動(dòng)作識(shí)別研究是動(dòng)作理解的基礎(chǔ)，同時(shí)也是進(jìn)行友好人機(jī)交互的重要前提，具有重要的研究意義和廣闊的應(yīng)用背景。隨著社會(huì)智能化和信息化的不斷發(fā)展，越來(lái)越多的學(xué)者致力于研究如何實(shí)現(xiàn)準(zhǔn)確、穩(wěn)定的人體動(dòng)作識(shí)別，以便更好地理解人的動(dòng)作意圖，從而讓機(jī)器人等智能化設(shè)備為人們提供更加人性化的服務(wù)。
　　起初，學(xué)者們針對(duì)平面二維視頻圖像采用各種先進(jìn)的圖像處理算法來(lái)進(jìn)行動(dòng)作識(shí)別，然而這種方法始終無(wú)法避免各種環(huán)境噪聲的干擾，如顏色、紋理、光照、遮擋等問(wèn)題。

2、隨著運(yùn)動(dòng)捕獲技術(shù)的日臻成熟和廣泛推廣，捕獲大量基于三維空間的運(yùn)動(dòng)數(shù)據(jù)集已成為現(xiàn)實(shí)。Kinect是微軟公司于2010年推出的一款體感攝像頭，它不但可以像普通攝像頭一樣捕獲到 RGB彩色圖像，而且可以測(cè)取人體的場(chǎng)景深度，不僅如此，Kinect還可以提供部分重要關(guān)節(jié)點(diǎn)的三維空間坐標(biāo)。鑒于三維運(yùn)動(dòng)數(shù)據(jù)集可以更好地還原運(yùn)動(dòng)細(xì)節(jié)，能夠更真實(shí)地記錄運(yùn)動(dòng)軌跡，本文利用Kinect作為外接設(shè)備捕獲到人體20個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo)信息，在此基礎(chǔ)上實(shí)現(xiàn)了小范圍內(nèi)

3、人體動(dòng)作識(shí)別。本文在學(xué)習(xí)、分析了關(guān)于人體動(dòng)作表示方法和識(shí)別算法的基礎(chǔ)上，以人體骨架模型作為研究對(duì)象，對(duì)人體動(dòng)作識(shí)別方法展開(kāi)了研究。此外，為了下一步能夠有效地利用動(dòng)作視頻中的語(yǔ)義信息，本文還對(duì)人手進(jìn)行了檢測(cè)定位。本文主要工作如下：
　　(1)利用 Kinect捕獲到了場(chǎng)景彩色圖像、深度圖像和骨架圖像，并通過(guò)坐標(biāo)轉(zhuǎn)換將骨架圖像映射到彩色圖像上顯示，從而使開(kāi)發(fā)人員可以更直觀地觀察到Kinect對(duì)人體關(guān)節(jié)點(diǎn)的精準(zhǔn)定位，而且可以便于研發(fā)人員

4、直觀地評(píng)估關(guān)節(jié)點(diǎn)的跟蹤狀態(tài)，從而確保捕獲的關(guān)節(jié)點(diǎn)數(shù)據(jù)的質(zhì)量。
　　(2) Kinect與普通攝像頭最大的不同在于它能夠定位人體的20個(gè)關(guān)節(jié)點(diǎn)信息，并能精準(zhǔn)地給出關(guān)節(jié)點(diǎn)的三維空間坐標(biāo)，通過(guò)編碼實(shí)現(xiàn)了關(guān)節(jié)點(diǎn)坐標(biāo)的獲取，并在此基礎(chǔ)之上，對(duì)既有的關(guān)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行規(guī)則化處理，將規(guī)則化后的數(shù)據(jù)作為底層特征來(lái)進(jìn)行動(dòng)作識(shí)別。
　　(3)由于Kinect的彩色攝像頭與深度攝像頭分布在Kinect的不同位置，深度圖像和彩色圖像不能按像素點(diǎn)一一對(duì)應(yīng)

5、。因此，該系統(tǒng)還對(duì)Kinect的兩個(gè)攝像頭做了校準(zhǔn)。
　　(4)為了充分利用動(dòng)作執(zhí)行環(huán)境中的語(yǔ)義信息，并且避免人工定義的特征集帶來(lái)的主觀性和不完整性，可以提取操作物品特征，這一語(yǔ)義特征對(duì)于特定場(chǎng)景下的動(dòng)作識(shí)別極為有效。由于大部分含有操作物品的動(dòng)作都是由手執(zhí)行完成的，要識(shí)別操作物品，首先要對(duì)手進(jìn)行檢測(cè)，該系統(tǒng)利用 Kinect的深度信息和膚色信息對(duì)人手進(jìn)行了檢測(cè)與定位，為下一步提取物品信息打下基礎(chǔ)。
　　(5)底層特征提取完成

6、之后，選定BP神經(jīng)網(wǎng)絡(luò)作為分類(lèi)器對(duì)特征數(shù)據(jù)進(jìn)行訓(xùn)練，根據(jù)分類(lèi)效果建立改進(jìn)的層次神經(jīng)網(wǎng)絡(luò)，由于第二層網(wǎng)絡(luò)的執(zhí)行與否取決于第一層網(wǎng)絡(luò)的分類(lèi)結(jié)果，因此稱(chēng)其為結(jié)果驅(qū)動(dòng)的層次 BP神經(jīng)網(wǎng)絡(luò)。保存BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練好的權(quán)值參數(shù)并在 VS里進(jìn)行調(diào)用，最終利用 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中的前向計(jì)算公式得出動(dòng)作識(shí)別結(jié)果。
　　本文對(duì)該系統(tǒng)的功能需求進(jìn)行了詳細(xì)闡述，系統(tǒng)主要分為數(shù)據(jù)采集模塊、特征提取模塊和動(dòng)作識(shí)別模塊。數(shù)據(jù)采集模塊的功能主要是利用Kinec