視頻鏡頭檢測和人體行為分析.pdf

1、在過去的二十年中，人體運(yùn)動(dòng)的視覺分析已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域中一個(gè)較為活躍的研究方向，特別是9-11事件后，其重視程度大幅提高，在虛擬現(xiàn)實(shí)、智能監(jiān)控及身份識(shí)別等方面都已具有初步的應(yīng)用。在人體運(yùn)動(dòng)的視覺分析框架中，人體行為的檢測與識(shí)別研究既是重點(diǎn)也是難點(diǎn)，它是計(jì)算機(jī)視覺實(shí)現(xiàn)從低、中層處理(運(yùn)動(dòng)檢測、運(yùn)動(dòng)目標(biāo)分類和人體跟蹤等)逐步向高層抽象思維(人體行為理解與描述等)轉(zhuǎn)變的關(guān)鍵。然而，目前此研究尚屬初級(jí)階段，主要集中在簡單場景下標(biāo)準(zhǔn)行為的檢測

2、與識(shí)別，仍有很多挑戰(zhàn)性的問題有待解決。
　　 本文首先闡述了人體行為分析(主要包括人體行為檢測與行為識(shí)別)的研究背景和研究意義，并對(duì)已有方法進(jìn)行了歸納總結(jié)。同時(shí)介紹了相關(guān)的行為數(shù)據(jù)庫，綜述了各種算法的評(píng)測性能，并引出人體行為檢測與識(shí)別的若干關(guān)鍵問題，對(duì)其發(fā)展趨勢作了較為詳細(xì)的探討。隨后分別從鏡頭檢測、行為檢測、行為識(shí)別三方面展開討論，提出新算法，并將它們用于解決實(shí)際問題。
　　 鏡頭檢測是視頻分析的基礎(chǔ)，也可以廣義地看成

3、是人體行為分析的預(yù)處理環(huán)節(jié)。由于鏡頭變化的形成十分復(fù)雜，基于強(qiáng)度、顏色以及形狀等低層特征的鏡頭變化檢測經(jīng)常會(huì)發(fā)生漏檢現(xiàn)象。同時(shí)，由于此類特征對(duì)噪聲、攝像機(jī)運(yùn)動(dòng)等干擾比較敏感，錯(cuò)檢也較為頻繁。針對(duì)以上不足，本文提出了一種基于空時(shí)顯著性變化的統(tǒng)計(jì)方法用于檢測視頻中的鏡頭變化。它融合時(shí)間歷史幀信息和當(dāng)前幀的空間信息生成顯著圖，通過觀察空時(shí)顯著性變化提取相鄰鏡頭之間的差異作為有效特征，在統(tǒng)一框架下，以最小化檢測誤差為前提，構(gòu)造統(tǒng)計(jì)檢測器從而檢測

4、出各種類型的鏡頭變化。在TREC01和各種類型(廣告、體育競技和電影)視頻上的評(píng)測結(jié)果表明了以空時(shí)顯著性變化差異作為特征的統(tǒng)計(jì)鏡頭檢測方法具有一定的優(yōu)越性。
　　 在行為檢測方面，本文提出一種由粗到精的匹配策略以檢測出真實(shí)視頻中較為復(fù)雜的人體行為。假設(shè)只給定一個(gè)查詢行為的樣本，行為檢測是在真實(shí)視頻中搜索與查詢行為相似的所有行為。真實(shí)視頻通常持續(xù)較長時(shí)間，若采用窮舉搜索的匹配方式，計(jì)算花費(fèi)相當(dāng)巨大。因此，本文采取由粗到精的匹配策略

5、：首先通過時(shí)間和空間分割粗糙地確定最有可能存在查詢行為的空時(shí)體集合；然后通過分別匹配每個(gè)空時(shí)體與查詢行為之間的結(jié)構(gòu)相似性，檢測出真實(shí)視頻中與查詢行為相似的所有行為。實(shí)驗(yàn)結(jié)果表明，此方法在Weizmann-Ⅱ庫上取得了與窮舉搜索法相當(dāng)?shù)臋z測率，但由粗到精的匹配策略卻使得計(jì)算復(fù)雜度大大降低。
　　 人體行為識(shí)別與行為檢測既有相似又有不同之處。行為檢測一般是指在給定一個(gè)查詢行為樣本的條件下，在真實(shí)視頻中檢測與查詢行為類似的所有行為；而

6、行為識(shí)別則是在大量訓(xùn)練樣本類別已知的條件下識(shí)別未知行為。論文的行為識(shí)別工作主要包括前景周期行為的識(shí)別和原始周期行為的識(shí)別。
　　 在背景已知的監(jiān)控條件下，人體剪影比較容易獲取，由每幀剪影圖像按時(shí)序堆疊起來的空時(shí)體則同時(shí)包含了人體行為的時(shí)間和空間信息。在識(shí)別這種前景周期行為的問題上，本文從幾何特性(弧長及主軸角度)方面定義了體語義局部二值模式描繪子并直接用于提取其低維特征，在測試行為與已知行為訓(xùn)練集特征之間構(gòu)造分類器即可識(shí)別未知行

7、為。在Weizmann-Ⅰ庫的前景行為數(shù)據(jù)上，我們?nèi)〉昧?5.56％的識(shí)別率。同時(shí)，測試實(shí)驗(yàn)表明，體語義局部二值模式描繪子對(duì)視角的微小變化、部分遮擋及行為方式的不規(guī)則性具有較高的魯棒性。體語義局部二值模式描繪子不需要降維，能夠直接提取行為空時(shí)體中的低維特征，并且提取特征的維數(shù)只與局部二值模式事先定義的鄰域點(diǎn)個(gè)數(shù)有關(guān)，從而減小了行為之間執(zhí)行速率的不同對(duì)識(shí)別率所造成的影響。
　　 在原始周期行為的識(shí)別方而，本文提出一種正則回歸的秩-

8、1張量投影技術(shù)。對(duì)視頻數(shù)據(jù)采用張量的表達(dá)方式既可以保留每幀圖像內(nèi)部的空間結(jié)構(gòu)，又可以避免視頻中的二維幀圖像轉(zhuǎn)為一維向量而造成的維數(shù)災(zāi)難。基于張量的分類方法大多采用張量子空間方法首先獲取特征張量，進(jìn)而對(duì)特征張量構(gòu)造合適的分類器，計(jì)算較為復(fù)雜。本文將多類行為識(shí)別問題分解為多個(gè)One vs.All的兩類回歸問題，對(duì)每種行為采用正則回歸的方法分別構(gòu)造秩-1張量投影，通過子集嵌入和后精煉處理將張量樣本直接映射到對(duì)應(yīng)的類別標(biāo)記。在Weizmann-