視頻搜索結果的重排序研究.pdf

1、互聯(lián)網(wǎng)中視頻數(shù)據(jù)在近幾年呈爆炸式增長并且廣泛分布，使得視頻搜索成為當前視頻研究的重點和熱點。由于文本搜索的成功應用，現(xiàn)今通用的大型視頻搜索引擎，如Google、Yahoo!、Llve、百度等主要還是利用視頻數(shù)據(jù)周圍的文本信息，采用基于文本搜索的方法實現(xiàn)視頻搜索和排序。然而，視頻內容及其所包含的復雜意義通常是語言工具難以完整描述與表達的。為了解決這種原始文本搜索的缺陷，視頻搜索結果的重排序逐漸引起了眾多研究者的關注。重排序，是指基于原始搜

2、索排序的基礎上，通過挖掘數(shù)據(jù)內在關聯(lián)、或者借鑒外部知識和人工干預，對原始搜索結果進行重新排序的過程，目的是提高搜索質量和提升用戶搜索體驗。 本論文首先提出一種新穎的基于查詢獨立的學習框架，接著從三個階段研究了視頻搜索結果的重排序中的關鍵問題，即自重排序(僅從自身挖掘相關知識)、樣例重排序(利用用戶提供的查詢樣例)和群重排序(利用從外部搜索引擎的結果中挖掘的知識)。顯然這三個階段涵蓋了現(xiàn)今的大部分視覺信息重排序的框架和方法。本文對

3、視頻重排序方法進行了深入的研究，主要工作和創(chuàng)新之處歸納為以下幾點： (1)對于查詢獨立的學習框架，本文提出了在“查詢-鏡頭”對中學習相關性關系。與傳統(tǒng)的查詢依賴的學習框架不同，該種方法的訓練模型和任何查詢沒有直接關系，故訓練樣本在所有的查詢中能達到共享，更適用于實際的應用。在這種查詢獨立的學習框架下，各種機器學習的方法都可以擴張并應用，從而進一步提出了一種基于SVM模型的全監(jiān)督查詢獨立的學習方法和一種基于多圖模型的半監(jiān)督的查詢獨

4、立學習方法。經過大量實驗證實，查詢獨立的學習方法明顯優(yōu)于傳統(tǒng)的查詢依賴的學習方法，從算法的運算量角度看，查詢獨立的學習方法也更具有實用性。 (2)對于自重排序，本文提出一種基于典型性的視頻結果的重排序方法。傳統(tǒng)的基于學習的重排序方法往往只關心訓練樣本的相關性或多樣性，卻忽略了樣本的典型性。本文提出在考慮相關性和多樣性的同時應兼顧樣本的典型性。首先根據(jù)樣本的概率分布定義視頻/圖像的典型性，并將樣本選擇看成一個既考慮樣本典型性又兼顧

5、原始搜索結果的優(yōu)化問題，最后基于選擇的高典型性樣本并利用SVM構建重排序模型，實驗表明該模型具有較好的泛化能力和較強的魯棒性。 (3)對于樣例重排序，本文提出一種基于查詢樣例的全監(jiān)督視頻重排序方法。傳統(tǒng)的全監(jiān)督的視頻重排序方法常根據(jù)經驗將重排序問題轉化為二類的分類問題，樣本完全根據(jù)分類的置信度進行排序。文中提出了重排序實際上應是一個優(yōu)化問題，即一個序列中的任意兩個樣本都能正確排序即可達到全局最優(yōu)，而不是簡單地區(qū)分每一個樣本是否相

6、關。在這樣的框架下，進一步提出兩種重排序算法，即直接重排序和插入重排序。實驗證實，新的重排序方法可以較大程度地改進原始的搜索結果，與其他一些經典的重排序方法相比，也具有較大的優(yōu)勢。 (4)對于群重排序，是本文中提出的重排序問題的新的發(fā)展階段，旨在從互聯(lián)網(wǎng)中挖掘相關的視覺原型并利用到重排序中。據(jù)大量資料的調研，群重排序是首次將互聯(lián)網(wǎng)中的群包數(shù)據(jù)應用到搜索結果的重排序當中，與傳統(tǒng)的自重排序和樣例重排序有顯著的不同。首先利用多個搜索引