基于內(nèi)容的視頻檢索與視頻摘要關(guān)鍵技術(shù)研究.pdf

1、隨著計算機技術(shù)、多媒體技術(shù)、存儲技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展，數(shù)字視頻得到了長足的發(fā)展和廣泛的應(yīng)用。從錄像機到手機，無論是專業(yè)應(yīng)用還是家庭消費產(chǎn)品，數(shù)字視頻已經(jīng)變得非常普遍。視頻是一種具有時間及空間三維結(jié)構(gòu)的數(shù)據(jù)格式，具有數(shù)據(jù)量大、蘊含信息豐富等特點，其本身常常是無組織的數(shù)據(jù)流，難以搜索與瀏覽，這對獲取視頻信息構(gòu)成了嚴(yán)峻的挑戰(zhàn)。為了有效地獲取視頻信息，基于內(nèi)容的多媒體檢索技術(shù)應(yīng)運而生，其中最引起學(xué)者興趣的是基于內(nèi)容的視頻檢索?；趦?nèi)容的視頻檢索

2、技術(shù)對視頻數(shù)據(jù)中蘊含的視覺和語義內(nèi)容進行計算機處理、分析與理解，并根據(jù)內(nèi)容進行檢索，其本質(zhì)是對視頻數(shù)據(jù)內(nèi)容與結(jié)構(gòu)進行分析，提取視頻語義信息，保證視頻內(nèi)容能被快速檢索。
　　 由于基于內(nèi)容的視頻檢索技術(shù)蘊含著巨大的市場前景，自上世紀(jì)九十年代以來就成為一個活躍的研究領(lǐng)域。經(jīng)過許多年的努力，已經(jīng)開發(fā)了很多搜索視頻的方法，這些方法基本上都是采用計算機視覺和模式識別中的核心算法與理論。同時，為了解決多媒體內(nèi)容描述的標(biāo)準(zhǔn)化問題，國際標(biāo)準(zhǔn)化組

3、織ISO/IEC下的MPEGE委員會專門指定了國際標(biāo)準(zhǔn)MPEG-7。
　　 基于內(nèi)容的視頻檢索包含很多方面，比如視頻內(nèi)容分析，結(jié)構(gòu)化、索引、摘要、檢索等，這些方面既獨立又相關(guān)，各自也都有很多研究成果，但是從開發(fā)系統(tǒng)的實際角度講，這些方面又必須綜合考慮，只有這樣才能開發(fā)出高效且有效的系統(tǒng)。
　　 本論文的研究主要集中在以下幾個方面：
　　 (1)鏡頭邊緣檢測技術(shù)。鏡頭是視頻中最基本的結(jié)構(gòu)單元。鏡頭邊緣檢測是視頻分析

4、中研究的比較早也是研究得比較成熟的一個方面。在這方面己經(jīng)取得了很多可用的技術(shù)，尤其是在突變鏡頭邊緣檢測方面。對鏡頭邊緣的檢測主要是采用視頻中的一些底層特征，比如顏色、紋理、邊緣、形狀，等等。在鏡頭之上的更高級的語義結(jié)構(gòu)是場景，這是一個對用戶更有意義的結(jié)構(gòu)信息。場景比鏡頭表示的信息更完整，一個場景往往對應(yīng)著一個事件。很多技術(shù)是通過對鏡頭的聚類完成場景檢測的，這往往要用到一些更高級的技術(shù)，比如多模特征的集成。本文在對鏡頭邊緣檢測做了綜合分析

5、之后，提出了一種新的鏡頭邊緣檢測算法。該算法首先將視頻序列中的每幀圖像分割為許多塊；基于這些塊，計算連續(xù)兩幀之間的匹配距離，最后根據(jù)自適應(yīng)的閾值確定視頻序列中的鏡頭邊界。并在此基礎(chǔ)上，提出了一種新的基于鏡頭的關(guān)鍵幀提取方法。
　　 (2)體育視頻興奮內(nèi)容建模與視頻摘要提取。已有的體育視頻精彩內(nèi)容的提取往往都是針對特定類型的體育視頻開發(fā)的，比如針對棒球的或者足球的。這樣的系統(tǒng)在使用范圍上有很大的局限性，因為用戶不可能為觀看每一種類

6、型的體育視頻要單獨安裝一個系統(tǒng)。因此，通用的精彩內(nèi)容提取方法是一個值得研究的課題。從我們所能夠檢索到的文獻來看，有很多種方法來研究通用的精彩內(nèi)容提取，比如基于注意力模型的方法，基于運動模型的方法。本論文從用戶興奮的角度通過提取音頻和視頻中的多個特征來對體育視頻中的興奮內(nèi)容進行建模，從而獲得體育視頻的興奮時間曲線，并基于此提出一種通用的視頻摘要(關(guān)鍵幀和視頻概略)提取框架，同時對所提取的摘要進行有效排序。
　　 (3)交互式體育視

7、頻事件檢索方法。視頻類型的多樣性和用戶需求的個性化往往使得系統(tǒng)檢索的結(jié)果無法滿足用戶的偏好。不同的用戶通過一個系統(tǒng)檢索同一個視頻得到的結(jié)果是一樣的，但是不同用戶的需求迥異，因而這樣的系統(tǒng)無法滿足不同用戶的具體需求。所以，一個系統(tǒng)在檢索的時侯，必須考慮到用戶的這種個性化需求。相關(guān)反饋技術(shù)是解決這個問題的一個有效辦法。利用相關(guān)反饋技術(shù)可以有效地提高檢索的效率，這點已經(jīng)在基于內(nèi)容的圖像檢索中得到證明。本文利用交互式遺傳算法從用戶那里得到反饋信

8、息，通過與系統(tǒng)的不斷交互實現(xiàn)個性化的檢索。
　　 (4)智能視頻監(jiān)控中的運動對象提取。基于內(nèi)容的視頻檢索與視頻摘要的研究大多數(shù)都是針對體育視頻展開的，因為體育視頻有更多的用戶觀賞，市場前景比較廣闊。自從911以來，安全引起了各國的廣泛重視，這種對安全的需求激發(fā)了無數(shù)學(xué)者的興趣，人們開始研究智能的視頻監(jiān)控，得到的監(jiān)控視頻有著與一般視頻不同的性質(zhì)。智能視頻監(jiān)控里面的研究課題很多，并且都很有挑戰(zhàn)性，比如對象的跟蹤與檢測、異常事件檢測，