基于語義的視頻事件檢測(cè)分析方法研究.pdf

1、近年來，隨著網(wǎng)絡(luò)應(yīng)用的飛速發(fā)展，多媒體文件數(shù)量每天在以幾何級(jí)數(shù)的速度在Internet上不斷涌現(xiàn)。其中的視頻數(shù)據(jù)由文本、視頻、聲音、圖像等多種文件融合而成，其本身具有的層次性、結(jié)構(gòu)性、復(fù)雜性等特征，還含有豐富的語義信息;所以快速處理視頻數(shù)據(jù)、提取視頻特征、分析和理解視頻中包含的語義內(nèi)容，受到多媒體信息處理研究人員的廣泛關(guān)注。視頻語義事件檢測(cè)分析的研究成果對(duì)于如何在浩瀚的視頻信息海洋中快速、準(zhǔn)確地檢測(cè)到用戶需要的視頻，且進(jìn)一步應(yīng)用在視頻點(diǎn)

2、播、智能監(jiān)控和視頻挖掘等領(lǐng)域具有重要的實(shí)際應(yīng)用價(jià)值?，F(xiàn)有的基于語義的視頻事件檢測(cè)分析技術(shù)，還存在很多局限性，如對(duì)于多個(gè)具有不同特征的運(yùn)動(dòng)對(duì)象識(shí)別率低、視頻語義事件檢測(cè)準(zhǔn)確率低、難以發(fā)現(xiàn)語義事件關(guān)聯(lián)性以及事件語義描述標(biāo)準(zhǔn)不統(tǒng)一等。
　　 本文圍繞視頻多運(yùn)動(dòng)對(duì)象識(shí)別特征描述與分類、基于語義的視頻復(fù)雜事件檢測(cè)與分析、語義事件關(guān)聯(lián)性挖掘及事件級(jí)高層語義描述和理解四個(gè)方面的關(guān)鍵技術(shù)，深入分析了這些關(guān)鍵技術(shù)的研究現(xiàn)狀和存在問題，提出了自適應(yīng)

3、的組合不變矩量值的多運(yùn)動(dòng)對(duì)象特征描述與分類方法、軌跡多標(biāo)簽超圖模型檢測(cè)與分析復(fù)雜事件方法、時(shí)序關(guān)聯(lián)規(guī)則挖掘事件語義算法以及格語法框架網(wǎng)絡(luò)結(jié)構(gòu)描述理解視頻多線程事件技術(shù)。本文的主要工作概況如下:
　　 (1)提出了自適應(yīng)的組合不變矩量值的多運(yùn)動(dòng)對(duì)象特征描述與分類方法。在該方法中，針對(duì)不同的運(yùn)動(dòng)對(duì)象特征各異的特點(diǎn)，提出了自適應(yīng)組合不變矩量值方法，可動(dòng)態(tài)選擇不變矩特征量值用于描述不同對(duì)象的特征。通過定義SF-ISF(SimilarFr

4、equency-InverseSingularFrequency)方法計(jì)算出每個(gè)對(duì)象的不變矩量值的權(quán)重值，之后再將不變矩量值的權(quán)重值和組合不變矩量值作為輸入?yún)?shù);建立回歸型支持向量機(jī)(SupportVectorRegression，SVR)多類分類器模型，對(duì)場(chǎng)景中的多種運(yùn)動(dòng)對(duì)象進(jìn)行分類。通過實(shí)驗(yàn)驗(yàn)證了對(duì)不變矩特征量值選擇權(quán)重的合理性，以及對(duì)SVR多類分類器的分類性能進(jìn)行分析，結(jié)果顯示能有效提高運(yùn)動(dòng)對(duì)象的識(shí)別率。
　　 (2)提出

5、了基于軌跡多標(biāo)簽超圖模型的視頻復(fù)雜事件檢測(cè)分析方法。由運(yùn)動(dòng)對(duì)象的時(shí)空特征，在對(duì)運(yùn)動(dòng)軌跡進(jìn)行定義、修剪和相似度計(jì)算后，用標(biāo)準(zhǔn)化分割的方法檢測(cè)出運(yùn)動(dòng)子事件。之后建立軌跡多標(biāo)簽超圖模型對(duì)視頻復(fù)雜事件分析進(jìn)行分類識(shí)別:首先，根據(jù)運(yùn)動(dòng)軌跡建立軌跡超圖，再由視頻事件中的語義概念建立概念多標(biāo)簽超圖，并對(duì)兩者進(jìn)行了配對(duì)融合，從中發(fā)現(xiàn)了軌跡與多概念標(biāo)簽之間的映射關(guān)系，從而提取出多個(gè)運(yùn)動(dòng)事件組成的復(fù)雜事件語義。實(shí)現(xiàn)了視頻事件識(shí)別過程中低層特征與高層語義之間

6、的跨越，實(shí)驗(yàn)結(jié)果和相關(guān)工作分析比較表明，該方法能夠有效提高視頻復(fù)雜事件檢測(cè)的平均查準(zhǔn)率和平均查全率。
　　 (3)基于時(shí)序關(guān)聯(lián)規(guī)則的視頻事件語義挖掘算法。在該方法中，根據(jù)視頻事件中多運(yùn)動(dòng)對(duì)象運(yùn)動(dòng)規(guī)律之間存在的時(shí)序關(guān)聯(lián)特性，設(shè)計(jì)了一個(gè)描述運(yùn)動(dòng)事件，存儲(chǔ)運(yùn)動(dòng)事件語義標(biāo)簽的頻繁模式樹(TemporalFrequentPatternTree，TFPTree)結(jié)構(gòu)，設(shè)計(jì)了加權(quán)的頻繁模式挖掘算法，以挖掘出不僅包含事件發(fā)生頻率，還表現(xiàn)事件之間

7、具有時(shí)序特性的強(qiáng)關(guān)聯(lián)關(guān)系規(guī)則?？朔艘曨l事件分析中，事件關(guān)聯(lián)性檢測(cè)準(zhǔn)確率低的缺點(diǎn)，能夠根據(jù)事件頻繁模式過濾了無關(guān)的非頻繁項(xiàng)集，挖掘出具有時(shí)序和頻次關(guān)聯(lián)性的視頻事件，發(fā)現(xiàn)視頻事件語義的時(shí)序頻繁模式。實(shí)驗(yàn)結(jié)果表明，由此方法挖掘之后得到的強(qiáng)關(guān)聯(lián)規(guī)則數(shù)目更加精確;算法運(yùn)行效率得到有效提高。
　　 (4)基于格語法框架網(wǎng)絡(luò)結(jié)構(gòu)的視頻高層語義描述和理解的方法。該方法將用于自然語言理解的格語法理論與視頻語義事件結(jié)構(gòu)特征相結(jié)合，設(shè)計(jì)了格語法框架

8、網(wǎng)絡(luò)（CaseSemanticFrameNet,CSFN）結(jié)構(gòu)，將子事件框架之間關(guān)系定義為，繼承（Inheritance）、總分(SubFrame)、時(shí)序(Temporal)、起始(StartStateEndState)、因果(Causative)、使用(Using)、參照關(guān)聯(lián)(Ref-Asso)七種，用于描述事件中的運(yùn)動(dòng)對(duì)象、事件、狀態(tài)及事件之間的關(guān)系。并對(duì)事件框架的時(shí)序關(guān)聯(lián)性和空間關(guān)聯(lián)性進(jìn)行了分析，并從事件級(jí)語義層上描述和分析多線程