視頻檢索中的場(chǎng)景摘要技術(shù)研究.pdf

1、隨著多媒體技術(shù)的迅速發(fā)展，多媒體數(shù)據(jù)正以指數(shù)級(jí)的速度增加，如何對(duì)其進(jìn)行有效地存儲(chǔ)、分段和檢索已成為目前需要解決的迫切問(wèn)題。視頻摘要技術(shù)是解決該問(wèn)題的一種途徑。同時(shí)，視頻摘要還能輔助建立視頻檢索和索引系統(tǒng)。因此對(duì)于視頻摘要的研究有著重要的意義。
　　 本文在綜合分析已有的基于內(nèi)容的視頻摘要的方法的基礎(chǔ)上，提出基于群體智能與k均值相結(jié)合的關(guān)鍵幀提取算法、基于鏡頭運(yùn)動(dòng)特征和時(shí)間信息的場(chǎng)景分割方法和基于視覺(jué)注意模型的場(chǎng)景摘要生成方法，并

2、設(shè)計(jì)實(shí)現(xiàn)相應(yīng)的原型系統(tǒng)。具體內(nèi)容如下：
　　 (1)提出一種基于群體智能與k均值相結(jié)合的關(guān)鍵幀提取算法。通過(guò)引入基于群體智能的聚類算法，并將它和k均值聚類算法進(jìn)行結(jié)合，應(yīng)用于關(guān)鍵幀提取。該方法先通過(guò)基于群體智能的聚類算法自組織地形成一個(gè)初始聚類，再對(duì)初始聚類結(jié)果執(zhí)行k均值算法，優(yōu)化初始聚類結(jié)果并加快算法收斂，最終提取出代表整個(gè)鏡頭內(nèi)容的關(guān)鍵幀。從而有效地解決傳統(tǒng)聚類法提取關(guān)鍵幀時(shí)對(duì)初值敏感、容易出現(xiàn)早熟和需利用先驗(yàn)知識(shí)來(lái)確定聚類

3、類別數(shù)等問(wèn)題。
　　 (2)提出一種基于鏡頭運(yùn)動(dòng)特征和時(shí)間信息的場(chǎng)景分割方法。針對(duì)傳統(tǒng)場(chǎng)景分割方法只利用視覺(jué)特征進(jìn)行場(chǎng)景分割造成的場(chǎng)景分割不準(zhǔn)確問(wèn)題，在衡量鏡頭相似度時(shí)，綜合考慮了鏡頭的視覺(jué)特征，全局運(yùn)動(dòng)特征和鏡頭所包含的時(shí)間信息，并采用鏡頭鏈聚類算法將相似的鏡頭聚到同一個(gè)場(chǎng)景中，達(dá)到較好的場(chǎng)景分割效果。
　　 (3)提出基于視覺(jué)注意模型的場(chǎng)景摘要生成方法。將視覺(jué)注意模型引入到場(chǎng)景摘要生成過(guò)程中，通過(guò)提取鏡頭的運(yùn)動(dòng)顯著度

4、和靜態(tài)顯著度，將運(yùn)動(dòng)顯著度和靜態(tài)顯著度進(jìn)行結(jié)合得到鏡頭的視覺(jué)注意度；同時(shí)，考慮鏡頭的持續(xù)時(shí)間對(duì)鏡頭重要度的影響，將鏡頭的視覺(jué)注意度和時(shí)間持續(xù)度加權(quán)求和，得到鏡頭的重要度。根據(jù)鏡頭重要度的大小選出場(chǎng)景中重要的鏡頭，通過(guò)把重要鏡頭的關(guān)鍵幀按時(shí)序排列輸出，生成代表場(chǎng)景主要內(nèi)容的場(chǎng)景摘要。
　　 (4)采用面向?qū)ο笏枷朐O(shè)計(jì)并開(kāi)發(fā)場(chǎng)景摘要生成的原型系統(tǒng)。該系統(tǒng)包括鏡頭邊界檢測(cè)，關(guān)鍵幀提取，場(chǎng)景分割，場(chǎng)景摘要生成等功能模塊。并通過(guò)實(shí)驗(yàn)對(duì)比驗(yàn)