基于統(tǒng)計(jì)分詞改進(jìn)算法的網(wǎng)絡(luò)信息檢索系統(tǒng)研究.pdf

1、本文在對(duì)檢索系統(tǒng)關(guān)鍵技術(shù)進(jìn)行研究的基礎(chǔ)上，主要實(shí)現(xiàn)了一個(gè)以統(tǒng)計(jì)分詞改進(jìn)算法為基礎(chǔ)的網(wǎng)絡(luò)信息檢索系統(tǒng)。該系統(tǒng)通過網(wǎng)頁(yè)內(nèi)容提取技術(shù)對(duì)網(wǎng)頁(yè)進(jìn)行處理，形成純文本形式，并通過中文自動(dòng)分詞技術(shù)對(duì)其進(jìn)行分詞處理，提取出特征索引詞，提供給檢索模塊，實(shí)現(xiàn)對(duì)信息的檢索。 對(duì)幾種分詞算法進(jìn)行了詳細(xì)介紹與研究，并在比較分析的基礎(chǔ)上，提出了一種統(tǒng)計(jì)分詞的改進(jìn)算法，這種算法不僅可以提高未登錄詞的識(shí)別能力，同時(shí)引入了串匹配分詞算法，降低了高頻冗余詞對(duì)文本特征

2、索引詞提取的干擾，為信息檢索提供了良好的處理依據(jù)，增強(qiáng)了檢索性能，改進(jìn)分詞算法本身也具有良好的擴(kuò)展性和應(yīng)用性。 介紹和比較了幾種常見的檢索模型，并在對(duì)它們進(jìn)行研究分析的基礎(chǔ)上，采用了較為成熟的布爾檢索模型實(shí)現(xiàn)檢索系統(tǒng)，并通過建立索引文件，加速了對(duì)表征文本內(nèi)容的詞組匹配，實(shí)現(xiàn)對(duì)信息進(jìn)行檢索的目的。 最后的試驗(yàn)結(jié)果表明，改進(jìn)的分詞算法，在準(zhǔn)確率和召回率上，基本可以滿足信息處理分詞要求，而檢索系統(tǒng)本身，也已達(dá)到一般信息檢索的要