視頻廣告內(nèi)容分析與理解.pdf

1、視頻廣告已經(jīng)成為當(dāng)今人類社會(huì)最為流行的一種商業(yè)媒介，為人們的現(xiàn)代生活帶來了不可或缺的商業(yè)信息，時(shí)時(shí)刻刻都在潛移默化的影響著人們的工作和生活方式。每年世界各國(guó)的企業(yè)都會(huì)花費(fèi)上億美元的資金，生產(chǎn)、投放成千上萬條的視頻廣告并在各國(guó)電視臺(tái)循環(huán)不斷的播出，在向民眾推介各種各樣新穎的商品及服務(wù)的同時(shí)，也帶動(dòng)了相關(guān)產(chǎn)業(yè)的迅速發(fā)展。
　　同時(shí)，隨著數(shù)字化浪潮的發(fā)展，人們已經(jīng)可以通過各種手段錄制海量的視頻廣告以便隨時(shí)獲取重要的商業(yè)咨詢。但是，由于缺

2、少有效的廣告內(nèi)容自動(dòng)分析技術(shù)，錄制廣告數(shù)量的爆炸性增長(zhǎng)導(dǎo)致了不同用戶群對(duì)于視頻廣告自動(dòng)濾除、采集以及索引等多方面的迫切需求。如何針對(duì)他們各具特色的需求，開發(fā)一系列有效的視頻廣告內(nèi)容分析與理解技術(shù)，從而快速有效的監(jiān)視、分析、存儲(chǔ)、查詢視頻廣告的內(nèi)容、播出時(shí)間、質(zhì)量等已經(jīng)成為當(dāng)前多媒體內(nèi)容分析領(lǐng)域的一個(gè)熱點(diǎn)問題。
　　針對(duì)當(dāng)前視頻廣告內(nèi)容分析與理解技術(shù)中存在的不足，本文嘗試和探索從視頻廣告各種潛在語義特性的分析入手，借助計(jì)算機(jī)視覺、機(jī)

3、器學(xué)習(xí)以及多媒體處理技術(shù)，跨媒體挖掘視頻廣告中存在的各種語義概念，構(gòu)造中層描述子，實(shí)現(xiàn)不同媒體模態(tài)下的信息交互融合，提出行之有效的解決方案。本文主要成果和創(chuàng)新之處包括以下幾個(gè)方面：
　　1)視頻廣告識(shí)別技術(shù)中的由粗及細(xì)匹配策略
　　為提高視頻廣告識(shí)別技術(shù)的效率，通過將局部敏感哈希函數(shù)(Locality SensitiveHash，LSH)與精細(xì)尺度連續(xù)濾除技術(shù)(Fine Granularity Successive Elim

4、ination，F(xiàn)GSE)進(jìn)行有機(jī)的融合，提出一種由粗及細(xì)的匹配策略。在粗匹配階段，利用LSH加快初始檢索速度，大量過濾無關(guān)內(nèi)容，得到全局近似的查詢結(jié)果；在精匹配階段，引入 FGSE技術(shù)解決粗匹配過程中的沖突問題，通過逐層分解匹配特征，快速尋找局部差異，獲得精確匹配結(jié)果，實(shí)現(xiàn)對(duì)于視頻廣告的快速識(shí)別。
　　2)基于協(xié)同學(xué)習(xí)的視頻廣告文本檢測(cè)
　　視頻廣告中的文本是一種重要的語義信息。為實(shí)現(xiàn)對(duì)這類復(fù)雜文本的有效定位，提出一種基于

5、協(xié)同學(xué)習(xí)的視頻廣告文本檢測(cè)方法。通過將文本檢測(cè)視為一種特殊紋理的分類問題，引入?yún)f(xié)同學(xué)習(xí)機(jī)制，采用兩種相對(duì)獨(dú)立的視角強(qiáng)化對(duì)于文本區(qū)域特性的描述。針對(duì)協(xié)同學(xué)習(xí)機(jī)制中容易引入噪聲樣本的問題，結(jié)合Bootstrap思想，提出一種改進(jìn)的協(xié)同學(xué)習(xí)算法，在兩個(gè)相對(duì)獨(dú)立的視角中交互選擇典型樣本，提高分類器的泛化能力。
　　3)融合視覺一音頻一文本模態(tài)信息的視頻廣告段落檢測(cè)
　　提出一種基于視覺、音頻以及文本模態(tài)交互式融合的廣告段落檢測(cè)方法。

6、通過充分挖掘廣告各模態(tài)中本質(zhì)的播放特性，首次在視頻廣告的文本模態(tài)中，結(jié)合視頻文本區(qū)域在時(shí)空域隨機(jī)變化的特性，提出一個(gè)全面的文本描述子，同廣告音視頻模態(tài)特征構(gòu)成完整的描述空間。此外，為解決現(xiàn)有融合方式中，簡(jiǎn)單將各模態(tài)信息進(jìn)行疊加的不足，提出一種交互集成式學(xué)習(xí)算法Tri-AdaBoost，交互挖掘各種模態(tài)的中級(jí)描述子所蘊(yùn)含的互補(bǔ)信息，實(shí)現(xiàn)這些模態(tài)的有機(jī)融合，從而提升分類器的性能。
　　4)視頻廣告段落分割技術(shù)中跨媒體特性分析與融合研究

7、
　　通過融合廣告視覺、音頻以及文本模態(tài)，提出一種有效的視頻廣告段落分割方法。為了加強(qiáng)對(duì)于廣告分割具有重要作用的描述子--產(chǎn)品信息幀(FrameMarked with Product Information，F(xiàn)MPI)檢測(cè)的魯棒性，首次將文本模態(tài)與一些重要的視覺特性引入FMPI的構(gòu)造過程，并結(jié)合音頻模態(tài)描述子形成一個(gè)對(duì)于廣告邊界特性的完整描述空間。此外，利用不同模態(tài)下描述子之間時(shí)域的上下文信息，實(shí)現(xiàn)各模態(tài)的有效融合，自動(dòng)分割廣告段

8、落。
　　5)基于稀疏視覺詞包描述的廣告語義分類方法
　　為提高傳統(tǒng)視覺詞包的描述能力，利用更加符合人類理解圖像方式的稀疏學(xué)習(xí)技術(shù)，提出一種基于稀疏視覺詞包描述的廣告語義分類方法。基于對(duì)于大量廣告中視覺語義單元共生規(guī)律之間的分析，將不同類別廣告中出現(xiàn)的各具特色的語義單元映射為一種過完備化的視覺詞典表示，并利用這個(gè)詞典中基本元素的稀疏線性組合描述廣告中潛在的語義，在不同類別廣告中蘊(yùn)含的語義信息與稀疏視覺詞包描述之間建立潛在的映