基于內(nèi)容的多模態(tài)視頻檢索.pdf

1、近年來(lái),視頻內(nèi)容呈現(xiàn)爆炸式增長(zhǎng)態(tài)勢(shì)。隨著個(gè)人數(shù)碼攝像設(shè)備的普及,存儲(chǔ)器容量的提升,以及網(wǎng)絡(luò)環(huán)境的改善,越來(lái)越多的人熱衷于拍攝自己身邊各種有趣的視頻，并上傳到網(wǎng)上與人分享,同時(shí)又在網(wǎng)上搜索并欣賞自己感興趣的視頻。對(duì)于電影工作者來(lái)說(shuō),人工處理海量的視頻數(shù)據(jù)是件相當(dāng)耗時(shí)耗力的事,如何更有效地管理并再利用視頻成為了當(dāng)務(wù)之急。在社會(huì)安全保障行動(dòng)中,偵察活動(dòng)必不可少,如何從偵察機(jī)和無(wú)人機(jī)上拍攝的大量視頻中提取有用的信息對(duì)整個(gè)戰(zhàn)局起著至關(guān)重要的作用。

2、因此,視頻檢索在國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展中有重大需求，是當(dāng)今信息社會(huì)亟待解決的基本問(wèn)題之一。 然而,視頻檢索技術(shù)面臨著巨大挑戰(zhàn)。如今的視頻檢索引擎（如YouTube.com等）基本沿用了文本檢索的方式,且文本僅來(lái)自于視頻外部人們對(duì)視頻的文本描述，諸如視頻標(biāo)題、標(biāo)簽等，即把視頻當(dāng)作文檔來(lái)處理。如何自動(dòng)從視頻內(nèi)在的語(yǔ)音、字幕、圖像序列等信息中提取語(yǔ)義繼而進(jìn)行檢索極具挑戰(zhàn)和吸引力。與文本檢索不同,基于內(nèi)容的視頻檢索涉及圖像處理、語(yǔ)音識(shí)別、信

3、息檢索、機(jī)器學(xué)習(xí)、模式識(shí)別等多個(gè)領(lǐng)域的綜合交叉學(xué)科。美國(guó)國(guó)家標(biāo)準(zhǔn)局（NIST）自2003年起組織了視頻檢索競(jìng)賽（稱(chēng)為T(mén)RECVID）,TRECVID已經(jīng)成為比較視頻檢索算法性能的全球公共平臺(tái),每年吸引了全球眾多研究團(tuán)隊(duì)的參與。本項(xiàng)研究工作就是在微軟亞洲研究院與上海交通大學(xué)聯(lián)合參加TRECVID2007的背景下開(kāi)展的,并在最后的檢索任務(wù)中取得了第一名的成績(jī)。本文重點(diǎn)闡述在如下三方面中的研究成果。 首先,在基于文本的視頻檢索中,一方

4、面提出了對(duì)從視頻中提取出的語(yǔ)音文本實(shí)行根據(jù)視頻語(yǔ)言種類(lèi)采取不同的文本組合策略,克服了固定文本組合數(shù)太小時(shí)不能充分利用上下文信息即視頻內(nèi)容在時(shí)序上的連貫性而引起的查全率降低,以及組合數(shù)太大時(shí)不相關(guān)的結(jié)果被誤檢索出來(lái)而引起的查準(zhǔn)率降低的問(wèn)題。另一方面,改進(jìn)了在傳統(tǒng)文本檢索中有良好表現(xiàn)的BM25公式?？紤]到傳統(tǒng)文本檢索時(shí),查詢(xún)?cè)~在文檔中被檢索到就表明該詞出現(xiàn)在該文檔中；而在視頻檢索中,同樣出現(xiàn)在語(yǔ)音文本中不同詞性的詞,在視頻畫(huà)面中體現(xiàn)出來(lái)的概