基于統(tǒng)計語言的中文網(wǎng)頁信息檢索模型研究.pdf

1、互聯(lián)網(wǎng)飛速發(fā)展，信息呈指數(shù)增長，信息獲取途徑更為多樣化，但是信息搜索卻變得更為復(fù)雜了。人們迫切需要高層次的信息處理技術(shù)來處理海量信息，快速檢索到所需信息，從而幫助更好的進行決策和研究。然而，信息處理技術(shù)的普及與廣泛應(yīng)用很大程度上得益于自然語言處理技術(shù)的發(fā)展，為了有效解決信息檢索問題，對信息檢索在文檔內(nèi)容表示、檢索模型、匹配策略以及排序算法等方面的研究逐漸增多。其中，對檢索模型的研究仍然是信息檢索研究的一個熱點，各種檢索模型和方法相繼出現(xiàn)

2、，如：布爾模型、向量空間模型、概率模型。尤其是近年來提出統(tǒng)計語言模型，將自然語言與統(tǒng)計學(xué)相結(jié)合來研究信息檢索，借助強大的數(shù)學(xué)基底，成為信息檢索中占據(jù)統(tǒng)治地位的檢索模型，并取得了大量研究成果。
　　 對中文網(wǎng)頁海量數(shù)據(jù)進行研究，并將中文分詞組件與lemur結(jié)合構(gòu)建適宜于中文的信息檢索系統(tǒng)方面的研究相對缺乏。本文在大規(guī)模中文網(wǎng)頁語料庫CWT200G的基礎(chǔ)上，參考TREC和SWEM信息檢索標準流程，以Lemur為基準工作平臺，將其與中

3、科院分詞組件一漢語詞法分析系統(tǒng)ICTCLAS相結(jié)合，形成一個可供實驗的簡單的信息檢索系統(tǒng)。首先，闡述了本文的理論基礎(chǔ)，介紹了基于統(tǒng)計語言方法的中文網(wǎng)頁信息檢索模型研究中所要研究的重點問題：統(tǒng)計語言模型、數(shù)據(jù)平滑、中文分詞和中文文本索引等。然后，對信息檢索評測的中文網(wǎng)頁語料庫和實驗所需平臺及系統(tǒng)進行簡單介紹，對數(shù)據(jù)如何處理做了詳細分析。最后，通過實驗數(shù)據(jù)對比分析向量空間模型、概率模型等傳統(tǒng)信息檢索模型與統(tǒng)計語言模型對中文網(wǎng)頁語料庫進行主題