信息檢索技術(shù)魯棒性研究.pdf

1、如何有效提高信息檢索技術(shù)的魯棒性是本論文研究的中心內(nèi)容。本文第一章首先簡要介紹了信息檢索的關(guān)鍵技術(shù)和研究趨勢，指出了文本信息檢索的三大關(guān)鍵技術(shù)：“查詢處理”、“相似度計(jì)算”和“結(jié)果排序”，并相應(yīng)地提出了論文工作的基本思路：在上述三大關(guān)鍵技術(shù)中，引入自然語言處理和機(jī)器學(xué)習(xí)的方法，期望以此提高檢索的魯棒性。隨后，第二章和第三章分別介紹了將自然語言處理和機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到信息檢索中的若干模型，并對(duì)這些模型在TRECRobustTrack大規(guī)模

2、標(biāo)準(zhǔn)語料庫上的實(shí)驗(yàn)結(jié)果進(jìn)行了詳細(xì)分析。接著，第四章介紹了我們NLPR參加TREC2004評(píng)測的基本情況以及經(jīng)驗(yàn)總結(jié)。最后，第五章給出了論文工作的總結(jié)和展望。 概括來說，本論文主要有如下幾項(xiàng)工作：1.提出詞義熵模型，利用Wordnet提供的結(jié)構(gòu)化的詞義知識(shí)，幫助確定查詢項(xiàng)的權(quán)重。實(shí)驗(yàn)表明，詞義熵模型與當(dāng)前常用的TF*IDF權(quán)重計(jì)算公式聯(lián)合使用，能有效提高檢索系統(tǒng)魯棒性。 2.利用自然語言處理中命名實(shí)體和復(fù)合名詞的概念，提出

3、了加入名詞性多詞組合的矢量空間模型，以及來源于語義張量概念的核心窗口模型和改進(jìn)的動(dòng)態(tài)核心窗口模型。實(shí)驗(yàn)表明，這三個(gè)檢索模型都能在一定程度上提高檢索系統(tǒng)的性能。 3.對(duì)于如何有效融合多個(gè)檢索模型，本文詳細(xì)研究了兩大類方法：基于結(jié)果的融合方法和基于查詢詞的自動(dòng)模型選擇方法。對(duì)基于結(jié)果的融合方法，本文提出了三種方法：簡單合并方法，得分歸一化方法以及文本聚類方法。對(duì)基于查詢詞的自動(dòng)模型選擇方法，本文引入了三種新的查詢項(xiàng)特征，并分別采用了