基于時(shí)空特征和分層模型的人體行為識(shí)別研究.pdf

1、圖像和視頻數(shù)據(jù)的海量增長，以及賦予計(jì)算機(jī)以人類視覺系統(tǒng)的能力的渴望推動(dòng)計(jì)算機(jī)視覺的研究和應(yīng)用不斷向前發(fā)展。通過計(jì)算機(jī)對視頻進(jìn)行處理，分析與理解是計(jì)算機(jī)視覺的一個(gè)熱點(diǎn)研究領(lǐng)域，而人體行為識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向。
　　人體行為識(shí)別通過分析視頻序列中人體的相關(guān)特征來確定人體行為的類別，它涉及圖像處理、人工智能和模式識(shí)別等多門學(xué)科。人體行為識(shí)別在反恐行動(dòng)、公共安全、人機(jī)交互、輔助駕駛、虛擬現(xiàn)實(shí)、視頻檢索等軍民領(lǐng)域有著廣泛的

2、應(yīng)用價(jià)值和應(yīng)用前景。人體行為識(shí)別的關(guān)鍵在于特征的選擇和提取以及行為的分類。
　　本文圍繞人體行為識(shí)別的相關(guān)問題進(jìn)行研究，通過采用引入正交平面概念的時(shí)空局部特征點(diǎn)提取方法提取興趣點(diǎn)，進(jìn)而提取時(shí)空局部特征描述信息，然后通過分層模型生成對視頻序列中人體行為的多層次表示來實(shí)現(xiàn)人體行為識(shí)別。主要完成了以下工作:
　　本文在現(xiàn)有方法的基礎(chǔ)上，通過引入正交平面的概念，在時(shí)空特征點(diǎn)提取和時(shí)空局部特征描述兩個(gè)方面進(jìn)行了改進(jìn)，提出了一種新的時(shí)空

3、特征點(diǎn)提取方法和時(shí)空局部特征描述方法。該時(shí)空特征點(diǎn)提取方法將整個(gè)視頻序列視為三維立方體，在任一維度上的平面檢測興趣點(diǎn)，借助集合的運(yùn)算和弱約束規(guī)則獲得時(shí)空特征點(diǎn);該時(shí)空特征描述方法對以時(shí)空特征點(diǎn)為中心構(gòu)造的時(shí)空立方體內(nèi)的像素點(diǎn)采用中心對稱擴(kuò)展的方法構(gòu)造部分重疊的小立方體，利用組合梯度方向直方圖和光流直方圖，加權(quán)生成高維時(shí)空局部特征描述子，并采用局部保留投影算法獲得時(shí)空局部特征描述子的低維向量表示，從而保留時(shí)空局部特征描述子所包含的局部信息

4、。
　　通過引入特征池的概念，構(gòu)建分層“bag-of-words”模型，形成輸入一個(gè)底層局部特征而輸出多個(gè)不同粒度的人體行為描述的機(jī)制。通過該模型所獲得的人體行為描述能夠兼有底層的局部信息和局部特征之間的結(jié)構(gòu)信息。
　　本文在通用的標(biāo)準(zhǔn)測試視頻庫上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了本文所提方法的可行性和有效性。實(shí)驗(yàn)表明采用本文所提出的時(shí)空特征點(diǎn)提取方法所提取的時(shí)空特征點(diǎn)具有較好的穩(wěn)定性和代表性;所提取的時(shí)空局部特征描述較好地捕捉了人體的外觀