基于語言模型的文本檢索技術(shù)及檢索結(jié)果重排序的研究.pdf

1、圖書分類號：TP391U.D.C.:681.3工學(xué)碩士學(xué)位論文基于語言模型的文本檢索技術(shù)及檢索結(jié)果重排序的研究碩士研究生：胡曉光導(dǎo)師：唐好選副教授申請學(xué)位：工學(xué)碩士學(xué)科、專業(yè)：計算機(jī)科學(xué)與技術(shù)所在單位：計算機(jī)科學(xué)與技術(shù)學(xué)院答辯日期：2006年6月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文I摘要摘要信息檢索(InfmationRetrievalIR)是研究信息的結(jié)構(gòu)、分析方法、組織、存儲、搜索和檢索等方面的計算機(jī)科學(xué)。對檢

2、索模型的研究在信息檢索領(lǐng)域處于核心地位。不同的檢索模型將給出不同的相似度計算，從而影響最終的返回結(jié)果。因此，對檢索模型的研究和改進(jìn)對于信息檢索有著十分重要的意義。2005年863信息檢索評測是本文的一個重要課題背景。本文首先介紹了在2005年863評測中構(gòu)造的信息檢索系統(tǒng)使用的各種文本處理技術(shù)，如超文本正文提取、分詞、全文索引、查詢自動生成等等。這些技術(shù)是多檢索模型融合研究的基礎(chǔ)。向量空間模型VSM是得到廣泛應(yīng)用的經(jīng)典檢索模型之一?？墒?/p>

3、VSM本身排序策略是經(jīng)驗(yàn)性強(qiáng)的公式，而且沒有深入到語言層面。為了利用語言知識進(jìn)行檢索，近年來基于統(tǒng)計語言模型(SLMbased)的信息檢索得到了快速發(fā)展。本文研究重點(diǎn)之一是研究SLMbased語言模型中Ponte、GLM模型在中文檢索測試集上的表現(xiàn)，并與經(jīng)典的VSM對比。在基于詞義語言模型的信息檢索研究中，介紹了同義詞詞典的詞義表示方法，在實(shí)驗(yàn)中使用TREC語料把基于詞義的語言模型并與其他語言模型進(jìn)行了比較，實(shí)驗(yàn)表明，基于詞義的語言模型