中文信息檢索系統(tǒng)與文檔重排技術(shù)研究.pdf

1、隨著計(jì)算機(jī)系統(tǒng)性能的提高,互聯(lián)網(wǎng)信息的飛速發(fā)展,以及企業(yè)信息化程度的迅速提高,中文信息資源以極快的速度遞增。信息的增加在滿足人們對(duì)信息需求的同時(shí)也給人們快速、準(zhǔn)確的查找所需要的信息帶來了一定的難度。在這種情況下,信息檢索技術(shù)成為研究的熱點(diǎn)。
　　 信息檢索(Information Retrieval,IR),通常指文本信息檢索,包括信息的存儲(chǔ)、組織、表現(xiàn)、查詢、存取等各個(gè)方面,其核心為文本信息的索引和檢索。信息檢索的主要技術(shù)包括

2、索引處理、查詢擴(kuò)展、檢索模型、重排處理等,中文信息檢索還涉及到分詞處理等。
　　 針對(duì)中文信息檢索相關(guān)技術(shù)的研究,本文的研究?jī)?nèi)容可以分為兩個(gè)部分。首先,以NTCIR7的中文IR4QA子任務(wù)為實(shí)驗(yàn)背景,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)中文信息檢索系統(tǒng)。系統(tǒng)在索引時(shí)對(duì)原始文本進(jìn)行分詞處理后以詞為單元生成倒排索引,檢索部分則采用了經(jīng)典的向量空間模型。為了解決詞不匹配的問題,檢索得到初次結(jié)果后,利用一種基于局部共現(xiàn)的查詢擴(kuò)展方法進(jìn)行查詢擴(kuò)展處理。實(shí)驗(yàn)結(jié)

3、果表明,經(jīng)過查詢擴(kuò)展處理后,系統(tǒng)性能得到明顯提升。對(duì)于系統(tǒng)所得結(jié)果,經(jīng)過NTCIR7官方評(píng)價(jià)工具的評(píng)估,可以看到我們的檢索系統(tǒng)有較好的檢索性能。另外,對(duì)特定類型問題進(jìn)行了文檔重排技術(shù)的研究。針對(duì)檢索系統(tǒng)將檢索結(jié)果反饋給用戶時(shí),用戶往往只瀏覽前N個(gè)檢索結(jié)果的情況,本文結(jié)合開放性資源維基百科和定義以及人物傳記這兩種類型問題的特點(diǎn),將與特定問題相關(guān)的維基百科頁面引入,以對(duì)初檢結(jié)果進(jìn)行文檔重排處理。實(shí)驗(yàn)表明,這種方法能有效提高排在前面的文檔的精