基于多維特征提取的視頻內(nèi)容識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、視頻內(nèi)容識(shí)別是通過對(duì)視頻的分析得到視頻所要表達(dá)的主題，是一種對(duì)視頻進(jìn)行抽象概述的行為。視頻內(nèi)容識(shí)別對(duì)于目前信息網(wǎng)絡(luò)的發(fā)展具有重要意義。思科公布的互聯(lián)網(wǎng)預(yù)測(cè)報(bào)告顯示未來五年內(nèi)全球的互聯(lián)網(wǎng)流量增長近三倍，個(gè)人互聯(lián)網(wǎng)流量的比例將增長到82％。視頻內(nèi)容服務(wù)已是信息網(wǎng)絡(luò)中的主流業(yè)務(wù)，如何處理與分析海量的視頻內(nèi)容成了亟待解決的問題。如識(shí)別廣播視頻中的廣告內(nèi)容，網(wǎng)絡(luò)視頻中的違禁鏡頭等。視頻內(nèi)容識(shí)別通過分析視頻得出簡要抽象的結(jié)果，更能夠滿足視頻數(shù)量巨大

2、的信息網(wǎng)絡(luò)的發(fā)展需求。
　　廣告包含豐富的商業(yè)信息。本文以視頻廣告為例，設(shè)計(jì)了視頻內(nèi)容識(shí)別系統(tǒng)，用于識(shí)別廣告內(nèi)容。廣告是抽象的視頻描述，為了識(shí)別廣告內(nèi)容，需要檢測(cè)視頻中的鏡頭邊界，以鏡頭為單位判斷視頻是否為廣告。因?yàn)榉菑V告鏡頭中也會(huì)出現(xiàn)商標(biāo)或廣告語等廣告特征，需要在確定是廣告的基礎(chǔ)上進(jìn)一步識(shí)別出是什么廣告。已有的工作中，鏡頭邊界檢測(cè)算法計(jì)算效率低，鏡頭分類的方法也無法滿足視頻類型多樣的情況。本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的計(jì)算機(jī)視覺處

3、理技術(shù)，綜合圖像和音頻的多維特征進(jìn)行視頻內(nèi)容識(shí)別，設(shè)計(jì)并實(shí)現(xiàn)了完整的視頻內(nèi)容識(shí)別系統(tǒng)。
　　本文的具體貢獻(xiàn)主要有如下三個(gè)方面。
　　(1)基于實(shí)驗(yàn)數(shù)據(jù)，提出了新的鏡頭邊界檢測(cè)方法。基于真實(shí)的廣播數(shù)據(jù)，使用顏色特征設(shè)計(jì)了一種新的鏡頭邊界檢測(cè)方法。相比于其他方法，本文的方法計(jì)算簡單，能夠降低鏡頭漸變的影響，方便后續(xù)的鏡頭分類和內(nèi)容識(shí)別工作。
　　(2)提出一種新的鏡頭特征提取方法，即使用卷積神經(jīng)網(wǎng)絡(luò)提取鏡頭特征，并利用該特

4、征將鏡頭分為廣告與非廣告兩類。傳統(tǒng)的視頻特征如顏色、紋理等，只能進(jìn)行低維具體描述，而使用卷積神經(jīng)網(wǎng)絡(luò)提取的鏡頭特征，具有高維抽象表達(dá)的能力，而且計(jì)算效率高。使用該特征訓(xùn)練支持向量機(jī)分類器，將鏡頭分為廣告與非廣告兩類，精確率與召回率分別達(dá)到93.74％和95.33％。
　　(3)綜合視頻中圖像與音頻的特征，設(shè)計(jì)并實(shí)現(xiàn)了視頻內(nèi)容識(shí)別系統(tǒng)。之前的視頻識(shí)別方法大多只使用了圖像特征或者將圖像與音頻在特征層融合后進(jìn)行識(shí)別。本文設(shè)計(jì)了新的識(shí)別方