基于物體功能屬性上下文的人體行為表征研究.pdf

1、通過(guò)視覺(jué)理解環(huán)境及其中人類活動(dòng)的研究目標(biāo)是讓視覺(jué)系統(tǒng)具備人類的視覺(jué)感知和推理能力，是計(jì)算機(jī)視覺(jué)研究的最高目標(biāo)。但由于對(duì)動(dòng)態(tài)環(huán)境中人體行為和物體的感知受到運(yùn)動(dòng)的非剛性和高自由度等因素的影響，使得該研究進(jìn)展相對(duì)緩慢。受到神經(jīng)科學(xué)、認(rèn)知科學(xué)和心理學(xué)的啟發(fā)，本文通過(guò)挖掘動(dòng)態(tài)環(huán)境中諸多物體與人體行為的內(nèi)在關(guān)系，建立物體和行為共同上下文的表征模型，進(jìn)而協(xié)助機(jī)器人實(shí)現(xiàn)人體行為理解。本文主要工作如下:
　　(1)為縮小語(yǔ)義鴻溝，利用視覺(jué)屬性在圖像

2、低層特征與高層語(yǔ)義之間架起一座語(yǔ)義橋梁，實(shí)現(xiàn)圖像視覺(jué)輸入到高層語(yǔ)義輸出的映射。研究以物體視覺(jué)屬性作為中間表示層的模型，證明該類模型具有較好的學(xué)習(xí)遷移性;研究基于多種組合特征的視覺(jué)屬性分類算法和基于無(wú)監(jiān)督特征學(xué)習(xí)的視覺(jué)屬性分類算法，設(shè)計(jì)實(shí)驗(yàn)表明基于無(wú)監(jiān)督特征學(xué)習(xí)的視覺(jué)屬性分類方法具有更好的準(zhǔn)確率。
　　(2)推理物體及其功能屬性信息是視覺(jué)智能的一項(xiàng)基本問(wèn)題，之前的大部分工作將推理問(wèn)題簡(jiǎn)化為分類問(wèn)題，本文基于馬爾科夫邏輯網(wǎng)，構(gòu)建物體網(wǎng)

3、絡(luò)模式表征模型，以推理的方式解決物體功能屬性的推理問(wèn)題;利用上述物體視覺(jué)屬性作為模型的中間表示層，增強(qiáng)模型對(duì)稀少樣本甚至零樣本物體的表征能力;結(jié)合人體操作物體的動(dòng)作信息和互聯(lián)網(wǎng)豐富的信息源，在統(tǒng)一的框架下實(shí)現(xiàn)豐富的推理任務(wù)。
　　(3)為表征人體行為豐富的上下文信息，與人體交互的物體軌跡信息不可或缺。針對(duì)在動(dòng)態(tài)家庭環(huán)境下收集的人體行為視頻中物體軌跡獲取精度不高的問(wèn)題，構(gòu)造3D視頻中深度圖像信息的尺度特征，提出物體檢測(cè)追蹤融合算法，