復(fù)雜場(chǎng)景下基于中層語(yǔ)義表示的視頻異常事件檢測(cè)的研究.pdf

1、視頻異常事件檢測(cè)是指從視頻序列中發(fā)現(xiàn)由監(jiān)控目標(biāo)（人或汽車(chē)等）引起的和期望事件模型差別較大的事件，是智能監(jiān)控系統(tǒng)中的核心任務(wù)之一，近些年來(lái)已成為計(jì)算機(jī)視覺(jué)領(lǐng)域中的研究熱點(diǎn)。視頻異常事件檢測(cè)的實(shí)質(zhì)是分析原始視頻數(shù)據(jù)獲得事件在特定上下文中正?；虍惓５母邔诱Z(yǔ)義解釋。事件的底層特征描述子是異常事件檢測(cè)的基本視覺(jué)線索，然而，底層特征描述子的描述能力有限，與高層語(yǔ)義解釋之間仍然存在著較大的鴻溝。為了縮小這種語(yǔ)義鴻溝，增強(qiáng)事件的描述能力，提高檢測(cè)系統(tǒng)的

2、性能，有必要使用中層語(yǔ)義模型將以底層特征描述的事件建模成簡(jiǎn)潔、魯棒、表達(dá)性和區(qū)分性更好的中層語(yǔ)義表示。本論文針對(duì)復(fù)雜場(chǎng)景中的干擾、異常因素的多重性、事件的內(nèi)在結(jié)構(gòu)復(fù)雜性、不確定性、上下文依靠性、手工特征的場(chǎng)景依賴(lài)性等一些難點(diǎn)問(wèn)題，研究了如何設(shè)計(jì)一個(gè)有效的事件中層語(yǔ)義模型以提高事件的描述能力，以及探索研究一個(gè)基于表示學(xué)習(xí)的異常事件檢測(cè)系統(tǒng)，其主要研究思想描述如下：
　　1.提出了一種基于時(shí)空塊的梯度-中心矩（Gradient-cen

3、tral-moments，GCM）描述子作為底層特征。GCM描述子的提取不依賴(lài)于目標(biāo)檢測(cè)與跟蹤等在復(fù)雜場(chǎng)景中難以實(shí)現(xiàn)的操作，可以兼顧事件中的運(yùn)動(dòng)及表觀信息，計(jì)算高效，對(duì)于復(fù)雜場(chǎng)景中的事件描述及異常事件檢測(cè)十分有效。
　　2.設(shè)計(jì)了基于詞袋（Bag-of-words，BoW）表示的異常事件檢測(cè)方法。相對(duì)于底層特征描述子，BoW表示是簡(jiǎn)潔的中層語(yǔ)義表示，具有更好的魯棒性、表達(dá)性與區(qū)分性。實(shí)驗(yàn)結(jié)果的分析與對(duì)比證明，設(shè)計(jì)的方法能夠有效檢測(cè)

4、不同類(lèi)型的異常事件，達(dá)到了較好的性能。
　　3.提出了一種基于結(jié)構(gòu)上下文詞袋（Bag-of-structural-context-words，BoSCW）表示的異常事件檢測(cè)方法。事件的BoSCW表示不僅具有 BoW表示的優(yōu)點(diǎn)，而且克服了BoW表示不能利用事件結(jié)構(gòu)上下文線索的不足，具有更好的表達(dá)性。實(shí)驗(yàn)結(jié)果證明，本章方法較好的提升了檢測(cè)系統(tǒng)的性能。
　　4.提出了一種基于原子特征袋（Bag-of-atomic-features

5、，BoAF）表示的異常事件檢測(cè)方法。不同于常規(guī)特征袋模型中只將一個(gè)視覺(jué)詞分配給局部特征，BoAF模型使用稀疏編碼將超完備字典上的多個(gè)原子以不同的權(quán)值賦予局部特征，無(wú)論局部特征類(lèi)型在訓(xùn)練樣本中是否存在，BoAF模型都能以極低的近似誤差去重建，因此有效解決了不確定性問(wèn)題。實(shí)驗(yàn)結(jié)果證明，基于BoAF表示的方法具有更好的性能。
　　5.提出了一種基于混合信息（Hybrid information，HI）表示的異常事件檢測(cè)方法?？紤]到異常事

6、件的上下文依靠性，事件的HI表示能夠兼顧事件的內(nèi)部特征與外部關(guān)系，有效利用了空間上下文線索。實(shí)驗(yàn)結(jié)果分析與對(duì)比表明，由于兼顧了事件內(nèi)部特征與外部關(guān)系，本文方法的性能優(yōu)于僅考慮事件內(nèi)部特征的方法，對(duì)于檢測(cè)空間異常事件十分有效。
　　6.提出了一種基于表示學(xué)習(xí)的異常事件檢測(cè)方法?？紤]到手工特征的難以選擇、參數(shù)調(diào)整復(fù)雜、場(chǎng)景依賴(lài)性強(qiáng)、通用性差等不足，本文設(shè)計(jì)了深度增量慢性特征分析（Deep incremental slow featur