圖像檢索中的淺語(yǔ)義鴻溝詞庫(kù)構(gòu)建方法研究.pdf

1、近年來,圖像檢索成為多媒體信息檢索領(lǐng)域的重要研究課題。“語(yǔ)義鴻溝”,即用戶從視覺數(shù)據(jù)中提取的信息和用戶自身對(duì)視覺數(shù)據(jù)的理解之間的不一致性,是圖像檢索中一個(gè)根深蒂固的問題。在基于語(yǔ)義的圖像檢索技術(shù)中,通過物體識(shí)別或者自動(dòng)標(biāo)注等建立有效語(yǔ)義概念模型都是為了縮短語(yǔ)義鴻溝。定義一個(gè)良好的語(yǔ)義概念庫(kù)是這些方法中數(shù)據(jù)搜集、模型建立的第一步也是極為關(guān)鍵的一步。語(yǔ)義概念所固有的語(yǔ)義鴻溝不盡相同,目前的信息處理與圖像理解方法還遠(yuǎn)遠(yuǎn)達(dá)不到提取圖像中抽象(深

2、層)語(yǔ)義的要求。更現(xiàn)實(shí)的途徑是設(shè)法找出那些計(jì)算機(jī)容易學(xué)習(xí)的具有較淺語(yǔ)義鴻溝的語(yǔ)義概念,這些語(yǔ)義概念更有助于概念檢測(cè)模型的訓(xùn)練,繼而進(jìn)行語(yǔ)義的識(shí)別及自動(dòng)標(biāo)注。因此,找出淺語(yǔ)義鴻溝詞庫(kù)對(duì)于基于語(yǔ)義的圖像檢索技術(shù)有著重要的意義,其涉及到兩個(gè)主要問題:1)如何定義淺語(yǔ)義鴻溝的“淺”,也就是說如何有效地衡量語(yǔ)義鴻溝?2)如何自動(dòng)找出此類語(yǔ)義?
　　本課題所做的工作就是創(chuàng)新性地解決這兩個(gè)問題,最終構(gòu)建淺語(yǔ)義鴻溝詞庫(kù),該語(yǔ)義詞庫(kù)能在研究大規(guī)模圖

3、像檢索時(shí)的數(shù)據(jù)搜集、特征選擇、構(gòu)建檢索模型、圖像標(biāo)注等方面提供有用的建議。
　　本文首先闡述了構(gòu)建淺語(yǔ)義鴻溝詞庫(kù)的基本框架:1)對(duì)240萬幅互聯(lián)網(wǎng)圖像提取語(yǔ)義文本特征以及多種低層視覺特征,分別建立有效索引。2)在不同的語(yǔ)義鴻溝模型下,對(duì)每一幅圖片計(jì)算其視覺-文本置信度,也就是衡量該圖像及其近鄰在視覺特征空間和文本特征空間下兩種分布的一致性。3)利用仿射傳播聚類算法對(duì)具有最高視覺-文本置信度的圖像進(jìn)行聚類。4)從聚類結(jié)果中進(jìn)行基于文

4、本內(nèi)容的字詞提取工作,相關(guān)度最高的字詞則是最具有淺語(yǔ)義鴻溝的語(yǔ)義概念。針對(duì)不同視覺空間下語(yǔ)義鴻溝不同的情況,本文從多個(gè)低層視覺空間出發(fā),分別基于顏色特征、紋理特征以及顏色紋理綜合特征,構(gòu)建了對(duì)應(yīng)的淺語(yǔ)義鴻溝詞表。比較分析其異同點(diǎn),得到基于視覺特征的淺語(yǔ)義鴻溝詞庫(kù),它能為圖像檢索中語(yǔ)義概念的特征選擇提供有效的建議。針對(duì)圖像在視覺空間和文本空間的分布不一致性,本文提出了兩種對(duì)偶的語(yǔ)義鴻溝模型——文本擴(kuò)散模型和視覺擴(kuò)散模型。從本質(zhì)上來說,兩種

5、語(yǔ)義鴻溝模型分別對(duì)應(yīng)于基于視覺內(nèi)容的檢索方式和基于文本內(nèi)容的檢索方式。綜合由兩種模型得到的淺語(yǔ)義鴻溝詞庫(kù)能為語(yǔ)義概念選擇合適的檢索方式,并能應(yīng)用于圖像標(biāo)注的優(yōu)化。本文提出了采用仿射傳播聚類算法解決大規(guī)模圖像聚類問題。該聚類算法有四大優(yōu)點(diǎn):1)無需事先確定聚類的類別數(shù)。2)要求的輸入是相似性矩陣。對(duì)于需要同時(shí)考慮視覺和文本兩重相似性的圖像聚類來說,利用相似性矩陣比利用高維數(shù)據(jù)點(diǎn)更合理有效。3)亦適用于兩圖像間相似性不對(duì)稱的情況。4)能有效