基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究.pdf

1、隨著信息技術和互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)站數(shù)量激增，加上twitter，微信，微博等新媒體的廣泛應用，信息資源已進入海量數(shù)據(jù)時代。在這些資源中，不僅包括易于處理的文本數(shù)據(jù)，還包括大量的圖像、視頻等多媒體數(shù)據(jù)。與文本相比，圖像顯得更為直觀、生動，加上便攜圖像獲取設備如智能手機的普及。數(shù)字圖像的數(shù)量出現(xiàn)了飛速增長，幾乎每年增加一倍。如何快速、準確地從海量網(wǎng)絡資源中檢索到感興趣的Web圖像成為迫切需要解決的問題。
　　Web圖像具有信息量高、

2、數(shù)量巨大、非結構化、高層語義多樣和不確定性的特點。使得信息檢索領域的相關成果很難直接應用到Web圖像檢索領域。如何綜合運用數(shù)字圖像處理、模式識別、機器學習、信息檢索等理論和技術，研究出性能高效的Web圖像檢索系統(tǒng)，為用戶提供穩(wěn)定可靠，準確度高的圖像檢索服務，具有重要的理論意義和現(xiàn)實價值。
　　Web圖像嵌入在網(wǎng)頁中，不僅包含豐富的視覺信息，其所在網(wǎng)頁的文本中也包含了大量與Web圖像相關的信息。關于Web圖像檢索的研究主要基于這兩類

3、信息展開，包括三個方向：基于Web文本信息的檢索模型TBIR、基于Web圖像內容的檢索模型CBIR和融合文本與圖像信息的檢索模型ABIR。TBIR從Web圖像所在網(wǎng)頁的文本中提取與Web圖像相關的關鍵詞用于Web圖像的索引和檢索。CBIR從Web圖像的底層視覺信息中提取視覺特征用于Web圖像的索引和檢索。ABIR綜合利用文本和圖像信息用于Web圖像的索引和檢索。顯然，同時使用文本和圖像信息的ABIR具有更大的優(yōu)勢，但是這兩種信息的結構不

4、同(一個屬于高層語義關鍵詞信息，一個屬于圖像底層視覺特征信息)，很難直接融合，怎樣無縫地融合兩者的信息依舊是Web圖像檢索領域的研究難點。直接使用圖像視覺特征檢索圖像，需要用戶提供樣圖或草圖，給用戶的圖像檢索造成極大的不便。而要將圖像視覺特征轉換為高層語義關鍵詞，又存在“語義鴻溝”問題。因此，怎樣將圖像視覺特征映射為高層語義關鍵詞是另一個要解決的難題。這兩個難點導致ABIR的研究進展緩慢，還需要進行深入的研究。
　　針對ABIR存

5、在的問題，本文提出了一種基于網(wǎng)頁信息和圖像特征的Web圖像檢索模型，該模型將Web圖像檢索的信息源從兩個（文本信息和圖像特征）擴展到三個（文本信息、圖像特征和圖像中包含的文字），增加了Web圖像索引的信息源。同時，通過圖像自動標注解決“語義鴻溝”問題，將圖像視覺特征映射為高層語義關鍵詞。最后，利用貝葉斯推理網(wǎng)將三種信息源的關鍵詞無縫地融合在一起，解決了異構信息的融合難題。
　　詞匯相似度計算是解決“語義鴻溝”問題的基礎，也是本文提

6、出圖像檢索模型中融合三種信息源的前提。因此，本文第四章詳細介紹了基于知網(wǎng)的詞匯相似度計算方法。
　　圖像中的文本分為場景文本和人工文本，這兩種文本都與圖像的內容和高層語義有很大的相關性。因此，將圖像中包含的文本作為圖像檢索的信息源之一具有重要的意義。本文提出了基于筆畫寬度檢測的Web圖像文本識別算法，將圖像中的文字識別出來，增加了Web圖像檢索的信息源。
　　圖像自動標注是解決“語義鴻溝”問題的有效手段。本文提出的圖像自動標

7、注模型，通過三種經典的自動標注算法生成候選關鍵詞集，然后通過詞匯相似性計算候選關鍵詞之間的內聚性和候選關鍵詞與圖像文本、Web文本關鍵詞之間的一致性，將內聚性和一致性低于閾值的關鍵詞作為“噪音”關鍵詞從候選關鍵詞中過濾掉。同時，將內聚性和一致性作為關鍵詞的權重，為使用貝葉斯網(wǎng)絡進行信息融合奠定基礎。
　　貝葉斯推理網(wǎng)絡具有融合多種信息的能力，是一種基于概率的、不確定性推理網(wǎng)絡。使用貝葉斯推理網(wǎng)的關鍵是如何確定各事件的初始概率和條件