基于層次結(jié)構(gòu)的視頻摘要.pdf

1、隨著多媒體信息技術的發(fā)展，各種技術產(chǎn)物應運而生，其中比較引人注目的就是各種各樣數(shù)字視頻的出現(xiàn)。但是如何在這視頻的海洋中找到符合我們要求的視頻，并且能夠滿足一定的時效性和準確性仍然是個難題。視頻摘要由此而生，它的出現(xiàn)無疑為這些問題提供了一條很好的解決途徑。視頻摘要，就是對視頻結(jié)構(gòu)以及視頻內(nèi)容進行自動或者半自動分析，結(jié)合分析結(jié)果提煉出視頻中重要的部分，對它們進行某種方式的排列和整合最終形成能夠較全面表達所分析視頻內(nèi)容的概要形式。視頻的類型可

2、以是新聞視頻、訪談節(jié)目視頻、娛樂節(jié)目視頻、電視劇、電影等多種形式，而生成的視頻摘要的形式也是多種多樣的，有靜態(tài)視頻摘要(關鍵幀集合)，動態(tài)縮略視頻(含有聲音、音樂、圖像等的短小視頻)，也有形式各異的視頻海報等。
　　 本文主要研究靜態(tài)視頻摘要，在研究過程中，通過對不同類型的視頻(例如普通視頻，新聞視頻，訪談節(jié)目等)，從底層特征、視頻中的內(nèi)容到交互力度及變化強度這些角度分析并生成涵蓋內(nèi)容豐富且能表達一定語義的靜態(tài)視頻摘要。研究的關

3、鍵技術是適合視頻摘要的視頻特征提取。
　　 針對普通視頻的視頻摘要，從視頻的底層特征出發(fā)，在HSV空間進行有效的鏡頭的分割，并對鏡頭進行有效的分類并合成，并采用動態(tài)滑動窗口方法來去除冗余幀，生成能夠很好表達原視頻內(nèi)容的視頻摘要，不僅冗余少，而且無需人工干預。
　　 對于新聞節(jié)目視頻，主要是從視頻內(nèi)容角度出發(fā)，包括主持人檢測、標題字幕檢測，主持人衣服顏色的匹配，并借助其本身特有的從圖像幀，到鏡頭，到故事單元，最后構(gòu)成整個新

4、聞視頻的層次結(jié)構(gòu)，以鏡頭為單位進行分析，減少了對所有圖像幀進行分析的復雜度，能夠較完整的劃分每個故事單元。最后生成的新聞視頻摘要能較好的表達新聞視頻的內(nèi)容。
　　 對于訪談節(jié)目的視頻，通過研究主顏色的時序特點，提出了訪談節(jié)目中的交互力度這一語義。而對鏡頭內(nèi)的相似性分析時，利用動態(tài)區(qū)域內(nèi)互信息的變化提出了在一段時間內(nèi)變化強度的概念，結(jié)合交互力度和動態(tài)區(qū)域內(nèi)的互信息，生成的視頻摘要能夠表達交互力度和一段時間內(nèi)變化強度這兩種語義。為了