基于內(nèi)容的視頻場(chǎng)景摘要技術(shù)的研究.pdf

1、數(shù)字視頻屬于國(guó)家重點(diǎn)發(fā)展的信息產(chǎn)業(yè)領(lǐng)域,隨著寬帶網(wǎng)絡(luò)和數(shù)字電視的迅速發(fā)展,視頻點(diǎn)播、交互電視、視頻網(wǎng)站等應(yīng)用需求將越來(lái)越廣泛,這些應(yīng)用都將共同面臨大量涌現(xiàn)的數(shù)字化視頻數(shù)據(jù)。但線性的、非結(jié)構(gòu)化的視頻數(shù)據(jù)形式往往使得視頻瀏覽效率非常低下。視頻摘要技術(shù)就是在這種情況下誕生的,該技術(shù)的結(jié)果是對(duì)原始視頻主要內(nèi)容的概括,對(duì)基于視頻的各種應(yīng)用具有廣泛的意義。
　　 本文在綜合分析已有的基于內(nèi)容的視頻摘要方法的基礎(chǔ)上,提出基于改進(jìn)的蟻群算法與凝

2、聚相結(jié)合的關(guān)鍵幀提取方法、基于語(yǔ)義的視頻場(chǎng)景檢測(cè)方法以及基于時(shí)空特征融合的視覺(jué)注意模型的場(chǎng)景摘要生成方法,并設(shè)計(jì)實(shí)現(xiàn)相應(yīng)的原型系統(tǒng)。具體內(nèi)容如下:
　　 (1)提出改進(jìn)的蟻群算法與凝聚相結(jié)合的關(guān)鍵幀提取方法。該方法先通過(guò)改進(jìn)的蟻群算法自組織地形成一個(gè)初始聚類(lèi),再對(duì)初始聚類(lèi)結(jié)果執(zhí)行凝聚算法,優(yōu)化初始聚類(lèi)結(jié)果并加快算法收斂,最終提取代表整個(gè)鏡頭內(nèi)容的關(guān)鍵幀。從而有效地解決傳統(tǒng)聚類(lèi)法提取關(guān)鍵幀時(shí)對(duì)初值敏感、容易出現(xiàn)早熟和需利用先驗(yàn)知識(shí)

3、來(lái)確定聚類(lèi)類(lèi)別數(shù)等問(wèn)題。
　　 (2)提出一種基于語(yǔ)義的視頻場(chǎng)景檢測(cè)方法。該方法首先提取視頻幀的多個(gè)底層特征,并對(duì)其進(jìn)行核函數(shù)級(jí)的線性加權(quán)處理,然后利用支持向量機(jī)(SVM)對(duì)處理后的特征向量進(jìn)行語(yǔ)義分類(lèi)預(yù)測(cè),生成鏡頭的語(yǔ)義概念矢量,最后根據(jù)語(yǔ)義概念矢量對(duì)鏡頭聚類(lèi)得到場(chǎng)景。從而克服了傳統(tǒng)場(chǎng)景檢測(cè)中只采用視頻底層特征而不考慮視頻高層語(yǔ)義的問(wèn)題,并較好地實(shí)現(xiàn)了場(chǎng)景檢測(cè)。
　　 (3)提出基于時(shí)空特征融合的視覺(jué)注意模型的場(chǎng)景摘要

4、生成方法。將時(shí)空特征融合的視覺(jué)注意模型引入到場(chǎng)景摘要生成過(guò)程中,提取鏡頭的空間域顯著度和時(shí)間域顯著度,將空間域顯著度和時(shí)間域顯著度進(jìn)行結(jié)合得到鏡頭的視覺(jué)注意度;同時(shí),考慮鏡頭的持續(xù)時(shí)間,提出鏡頭的持續(xù)度,并將鏡頭的視覺(jué)注意度和時(shí)間持續(xù)度加權(quán)求和,得到鏡頭的重要度。根據(jù)鏡頭重要度的大小選出場(chǎng)景中重要的鏡頭,通過(guò)把重要鏡頭的關(guān)鍵幀按時(shí)序排列輸出,生成代表場(chǎng)景主要內(nèi)容的場(chǎng)景摘要。
　　 (4)采用面向?qū)ο笏枷朐O(shè)計(jì)并開(kāi)發(fā)場(chǎng)景摘要生成的原