基于編碼特征軌跡簇的視頻檢索.pdf

1、近年來(lái),全球信息化和經(jīng)濟(jì)全球化已經(jīng)成為時(shí)代的發(fā)展潮流,研究新的寬帶業(yè)務(wù),開發(fā)網(wǎng)絡(luò)多媒體應(yīng)用,提高人們的生活質(zhì)量,已經(jīng)為全世界共同關(guān)注的問題。寬帶業(yè)務(wù)與多媒體信息的主體是圖像和視頻,但視頻融合了圖像、文字、聲音等多種媒體,具有最強(qiáng)的表現(xiàn)力。因此,研究開發(fā)以視頻為主體的多媒體業(yè)務(wù)已經(jīng)成為當(dāng)今信息科學(xué)與技術(shù)的重要研究領(lǐng)域。如何對(duì)急速膨脹的海量視頻數(shù)據(jù)進(jìn)行有效的檢索處理,是人們研究開發(fā)以視頻為主體的多媒體業(yè)務(wù)首先要面對(duì)的一個(gè)問題。針對(duì)基于關(guān)鍵字

2、檢索(Keywords-Based Retrieval)方法的不足,人們提出了基于內(nèi)容的視頻檢索(CBVR,Content-Based Video Retrieval)方法。
　　 本文主要研究的目標(biāo)是在視頻內(nèi)檢索包含查詢目標(biāo)的視頻鏡頭,即用戶給定一幅標(biāo)識(shí)查詢目標(biāo)的圖像,提取查詢目標(biāo)的特征,與視頻數(shù)據(jù)庫(kù)中候選目標(biāo)的特征進(jìn)行匹配,獲得檢索結(jié)果。
　　 視頻雖然比文本、圖像包含更豐富的信息,但是卻無(wú)法像文本那樣直接地給出它的

3、內(nèi)容并且進(jìn)行基于內(nèi)容的檢索。要實(shí)現(xiàn)基于內(nèi)容的視頻檢索,首先必須對(duì)視頻進(jìn)行預(yù)處理,包括視頻結(jié)構(gòu)化分析和視頻特征提取。視頻結(jié)構(gòu)化分析是指通過(guò)鏡頭邊界的檢測(cè),把視頻分割成鏡頭；視頻特征提取是指提取顏色、紋理、形狀、運(yùn)動(dòng)和語(yǔ)義等各種特征,形成描述鏡頭的視頻特征。然后依靠這些視頻特征來(lái)進(jìn)行視頻檢索。所以,本文首先在視頻幀提取SIFT(Scale InvariantFeature Transform)特征,SIFT特征是圖像的局部特征,該特征對(duì)旋轉(zhuǎn)

4、、尺度縮放、亮度變化保持不變性,對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性,具有很強(qiáng)的魯棒性；其次,根據(jù)視頻幀之間局部不變特征向量的匹配度檢測(cè)鏡頭的邊界,從而進(jìn)行鏡頭分割；再次,跟蹤穩(wěn)定的視頻特征生成視頻特征軌跡(tracks)；再次,在RGB空間對(duì)圖像像素進(jìn)行顏色量化和編碼。用MSER(maximally stable extremal regions)算法在每個(gè)鏡頭的第一幀提取特征,統(tǒng)計(jì)MSER特征的主顏色,利用特征的顏色信息