基于超圖模型的視頻多語義標注方法研究.pdf

1、近年來,隨著多媒體視頻數(shù)據(jù)的急劇增長,為了便于對海量的視頻數(shù)據(jù)進行語義級別的檢索與瀏覽,基于語義概念的視頻檢索技術已成為研究的新熱點。而在基于語義概念的視頻檢索研究中所涉及到的重點和難點是如何跨越視頻低層特征和人類高層理解之間的語義鴻溝。目前,廣泛地認為視頻語義自動標注技術是解決這一難點的有效方法。因此,研究出一種高效準確的視頻語義自動標注方法顯得至關重要。
　　 本文首先簡要地綜述了本課題研究的背景和意義,然后詳細地分析了視頻

2、自動語義標注過程中有關主要工作的國內外研究現(xiàn)狀。在此基礎上,結合超圖理論知識,提出了基于譜超圖聚類的關鍵幀提取方法、視頻語義概念時間相關性的時序概率超圖表示法和基于時序概率超圖模型的視頻多語義自動標注方法,主要工作描述如下:
　　 (1)提出了一種基于譜超圖聚類的關鍵幀提取方法。通過引入超圖理論,提出了一種新的基于譜超圖聚類的關鍵幀提取算法。該算法視鏡頭中每幀圖像為超圖的一個頂點,根據(jù)幀圖像間的相似度構造超邊,然后完成幀超圖的構

3、建,最后利用基于譜超圖的聚類方法實現(xiàn)鏡頭關鍵幀的提取。實驗表明,該方法可提高視頻關鍵幀提取的有效性和準確性。
　　 (2)提出了一種視頻語義概念時間相關性的時序概率超圖表示法。利用視頻語義概念時間相關性可以進一步提高視頻標注的準確性,本文提出了時序概率超圖模型用來表達視頻的這一特性。該模型是對超圖模型的一種泛化:不僅能夠表示多個頂點之間的局部聚合信息、各頂點屬于它所對應的時序概率超邊的概率,還能夠為頂點間的時間序列關系建模。

4、r>　　 (3)提出了一種基于時序概率超圖模型的視頻多語義自動標注方法。首先利用本文所提出的時序概率超圖模型,將每個鏡頭視為一個頂點,根據(jù)鏡頭間的相似度和時序關系構建時序概率超邊;然后完成鏡頭時序概率超圖的構建;最后利用基于時序概率超圖的鏡頭多標簽半監(jiān)督分類學習算法完成對未標注視頻鏡頭的多語義概念自動標注。標注中同時有效地解決了已標注視頻數(shù)據(jù)不足和視頻的多語義標注問題。實驗結果表明了該方法可提高視頻鏡頭語義標注的性能。