多模態(tài)媒體信息檢索技術研究.pdf

1、隨著多媒體技術和互聯(lián)網(wǎng)的快速發(fā)展，不同模態(tài)的多媒體數(shù)據(jù)隨之急劇增長，同時用戶對于多媒體數(shù)據(jù)的檢索需求也變得更加多樣化。對比傳統(tǒng)的單一模態(tài)媒體數(shù)據(jù)的檢索方式，通過對不同模態(tài)的媒體數(shù)據(jù)進行分析和處理，不僅能夠更好地表達用戶的檢索意圖，而且對于多模態(tài)媒體數(shù)據(jù)的語義理解也起到了重要作用。然而，由于在低層內容特征上的異構性和不可度量性，使得傳統(tǒng)的多媒體檢索方法不能適用于多模態(tài)媒體數(shù)據(jù)。因此，如何有效地管理和檢索多模態(tài)媒體數(shù)據(jù)成為目前多媒體檢索領域

2、的研究熱點。
　　根據(jù)多模態(tài)媒體數(shù)據(jù)間存在著緊密的語義關聯(lián)這一特性，本文以多媒體數(shù)據(jù)的高層語義概念特征為出發(fā)點，結合機器學習、多模態(tài)信息融合與分析等技術，對多模態(tài)媒體信息檢索進行了深入的研究。主要研究工作包括:
　　(1)針對視頻信息的語義概念檢測，提出了一種基于極限學習機的多模態(tài)分類器合并方法。首先，分別使用三種不同的可視化特征來訓練相對應的三個基于極限學習機的語義概念分類器，然后使用一種有效的基于概率的融合方法將語義概念

3、分類器的預測結果進行合并。最后，通過分析語義概念之間的上下文來得到語義關聯(lián)信息，并利用這些關聯(lián)信息來修正合并后的預測結果。通過大量的實驗表明提出的方法能夠有效地提高語義概念檢測的準確性。同時，基于極限學習機的分類器能以極快的速度進行學習和預測，大大提高了語義概念檢測的性能。
　　(2)針對不確定的視頻語義表達，提出了一種基于多信息融合的方法，其中包括推理和融合兩個階段。在推理階段，充分利用語義概念之間的上下文關聯(lián)信息和視頻鏡頭之間

4、的時間關聯(lián)信息，選出對應于用戶查詢最相關的候選概念集。在融合階段，通過計算候選概念的推斷概率，使其與概念檢測器的結果進行融合，以達到對視頻鏡頭中的語義概念進行修正的目的。通過大量的實驗表明，提出的方法能夠有效解決視頻鏡頭中不確定的語義表達問題，同時改善了語義視頻檢索的準確性。
　　(3)針對大規(guī)模的跨媒體檢索，首先利用多模態(tài)媒體對象之間的語義關聯(lián)來建模一個多模態(tài)語義關系圖。其次將多模態(tài)語義關系圖中的所有媒體對象映射到一個同構的語義

5、空間中。最后，通過分析多模態(tài)媒體對象的分布特性，提出了一種有效的索引MK-tree，以此來管理語義空間中的媒體對象，同時改善跨媒體檢索的性能。通過在大規(guī)模的真實跨媒體數(shù)據(jù)集上的實驗表明，提出的方法能極大地改善跨媒體檢索的有效性和準確性。
　　(4)針對社交圖像檢索，首先，通過利用社交網(wǎng)絡中不同模態(tài)的信息來構建一個社交關系圖。其次，當用戶給定查詢關鍵字，在構建的社交關系圖上執(zhí)行一種有效的查詢關鍵字算法，同時基于相關分數(shù)得到候選結果。