基于文本和視覺(jué)信息融合的Web圖像檢索.pdf

1、本文首先提出了淺層語(yǔ)義處理技術(shù)-詞匯相似性計(jì)算技術(shù)。詞匯相似性計(jì)算是自然語(yǔ)言處理領(lǐng)域中語(yǔ)義處理的基礎(chǔ)性研究之一，主要研究如何計(jì)算詞匯之間的語(yǔ)義相似程度。本文的研究中將詞匯相似性計(jì)算技術(shù)作為語(yǔ)義信息的度量手段，這使得存在于人類思維中的抽象語(yǔ)義信息具有了可計(jì)算性和可對(duì)比性，同時(shí)也進(jìn)一步使得Web圖像的文本信息和視覺(jué)信息(圖像視覺(jué)信息被表示為高層語(yǔ)義特征，參考下文)的融合成為可能。 其次，本文針對(duì)Web圖像的低層視覺(jué)特征和高層語(yǔ)義特征

2、之間的語(yǔ)義鴻溝問(wèn)題，提出了一個(gè)Web圖像自動(dòng)加權(quán)標(biāo)注模型：首先使用各種機(jī)器學(xué)習(xí)和統(tǒng)計(jì)技術(shù)學(xué)習(xí)從圖像低層視覺(jué)特征到圖像高層語(yǔ)義特征的映射模型：然后利用這個(gè)映射模型抽取圖像的高層語(yǔ)義特征；最后根據(jù)Web圖像文本信息和提取出的高層語(yǔ)義特征本身，使用詞匯相似性計(jì)算技術(shù)度量抽取出的高層語(yǔ)義特征的質(zhì)量。通過(guò)上述步驟可以將Web圖像表示為帶有權(quán)重的高層語(yǔ)義特征，同時(shí)也進(jìn)一步將圖像視覺(jué)信息和文本信息的融合轉(zhuǎn)化為表達(dá)圖像內(nèi)容的高層語(yǔ)義特征和Web圖像文本

3、信息的融合。 接著，針對(duì)Web圖像包含的文本信息和從圖像視覺(jué)信息中提取的高層語(yǔ)義特征，提出了一種具有可擴(kuò)展性的Web圖像檢索模型。為了充分利用Web文檔中的文本信息和從Web圖像低層視覺(jué)特征中抽取的高層語(yǔ)義特征，該模型構(gòu)架在貝葉斯推理網(wǎng)上，利用推理網(wǎng)內(nèi)在的多信息源融合能力，將Web圖像文本特征和Web圖像的高層語(yǔ)義特征無(wú)縫地融合在一起實(shí)現(xiàn)Web圖像檢索。 基于上述研究，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)Web圖像檢索原型系統(tǒng)，該系統(tǒng)充