視頻中的人體行為識(shí)別若干關(guān)鍵技術(shù)研究.pdf

1、人體行為識(shí)別是讓計(jì)算機(jī)能夠自動(dòng)的理解未知視頻或者圖像序列中正在發(fā)生的事件，是實(shí)現(xiàn)計(jì)算機(jī)的視覺智能的重要手段。其研究成果可以應(yīng)用到視頻檢索、智能視頻監(jiān)控以及智能人機(jī)接口等領(lǐng)域;同時(shí)人體行為識(shí)別研究涉及人工智能的諸多領(lǐng)域，是當(dāng)前計(jì)算機(jī)視覺研究的熱點(diǎn)和難點(diǎn)。因此開展人體行為識(shí)別的研究具有廣泛的應(yīng)用場景和重大的理論意義。
　　本文結(jié)合當(dāng)前計(jì)算機(jī)視覺中目標(biāo)檢測(cè)和識(shí)別技術(shù)的發(fā)展，針對(duì)人體行為識(shí)別研究中存在的問題，提出了相應(yīng)的解決方法。本文具體

2、的研究工作和創(chuàng)新點(diǎn)包括以下幾個(gè)方面:
　　1、特征的選取和表示是人體行為識(shí)別的基礎(chǔ)，論文結(jié)合人體行為識(shí)別特點(diǎn)，詳細(xì)介紹了局部時(shí)空特征的檢測(cè)和描述方法，并在基于視覺碼本的人體行為識(shí)別方法中，對(duì)HOG與HOF特征的人體行為表示能力進(jìn)行全面的分析，實(shí)驗(yàn)結(jié)果表明HOG/HOF特征能夠有效表示視頻中的人體行為特征。此外，為了驗(yàn)證HOG在視頻檢索中的可行性，本文還將HOG特征應(yīng)用到教學(xué)視頻中的照片檢索，提出了自適應(yīng)照片檢索方法，提高了檢索的準(zhǔn)

3、確率，為后續(xù)視頻中的行為識(shí)別技術(shù)奠定了可靠的基礎(chǔ)。
　　2、針對(duì)基于局部時(shí)空特征表示的人體行為識(shí)別方法存在準(zhǔn)確性不高的問題，提出了基于ε-NN的類條件概率估計(jì)方法和基于互信息差異的特征選擇方法。通過分析我們發(fā)現(xiàn)，在基于局部時(shí)空特征投票的分類方法中選擇判別能力強(qiáng)的特征能有效提高行為識(shí)別的準(zhǔn)確率。針對(duì)這個(gè)問題，本文提出基于ε-NN的類條件概率估計(jì)方法和基于互信息差異的特征選擇方法。實(shí)驗(yàn)結(jié)果表明本文提出的方法能有效提高人體行為識(shí)別的準(zhǔn)確

4、率，特別是相似行為的識(shí)別準(zhǔn)確率提高更為顯著。
　　3、針對(duì)滑動(dòng)窗口方法在視頻中連續(xù)行為的檢測(cè)和識(shí)別問題中的不足，提出了基于最大子序列搜索的連續(xù)多行為檢測(cè)和識(shí)別方法。大多數(shù)的人體行為識(shí)別研究都是基于已經(jīng)分割好的視頻，即一個(gè)視頻中僅包含一個(gè)行為。而對(duì)于多行為的識(shí)別問題主要還是使用滑動(dòng)窗口的策略，但是滑動(dòng)窗口法的計(jì)算代價(jià)高。針對(duì)多行為的識(shí)別問題，本文提出了基于視頻幀的連續(xù)行為的識(shí)別方法，通過尋找最大得分子序列來定位和識(shí)別行為。實(shí)驗(yàn)結(jié)果表

5、明基于最大子序列搜索的連續(xù)多行為檢測(cè)和識(shí)別方法能夠準(zhǔn)確定位和識(shí)別視頻中的連讀行為，同時(shí)計(jì)算效率要優(yōu)于滑動(dòng)窗口方法。
　　4、針對(duì)基于局部時(shí)空特征的方法不能有效解決復(fù)雜場景下的人體行為識(shí)別，提出了基于場景上下文的人體行為識(shí)別方法。在真實(shí)場景下的人體行為識(shí)別研究中，大多數(shù)方法都是采用對(duì)背景變化進(jìn)行抑制和消除的策略。然而通過分析，我們發(fā)現(xiàn)在復(fù)雜環(huán)境中的場景信息有利于人體行為的識(shí)別。因此本文提出了基于場景上下文的人體行為識(shí)別方法，將場景特

6、征和局部時(shí)空特征結(jié)合，實(shí)現(xiàn)復(fù)雜場景中人體行為識(shí)別。實(shí)驗(yàn)結(jié)果表明時(shí)空金字塔特征能有效表示視頻的場景信息，本文的方法能有效提高復(fù)雜場景中人體行為識(shí)別的準(zhǔn)確率。
　　綜上所述，本文從特征提取和表示這個(gè)模式識(shí)別的基本問題入手，對(duì)人體行為識(shí)別中的行為分類、行為定位、以及復(fù)雜場景下的行為識(shí)別等問題展開研究。針對(duì)現(xiàn)有方法中存在的問題，提出了相應(yīng)的解決方法。在人體行為識(shí)別數(shù)據(jù)庫的實(shí)驗(yàn)表明，本文提出的方法提高了人體行為識(shí)別的性能，有利于促進(jìn)人體行為