中文索引策略的研究.pdf

1、隨著Intemet的迅猛發(fā)展，互聯(lián)網(wǎng)上的信息呈爆炸性增長。研究并掌握信息檢索的核心技術具有十分重要的理論意義和廣泛的應用價值。由于中文文檔沒有用于切分單詞的空格，使得對索引策略的研究成為中文信息檢索的特有問題。 對文檔進行分詞處理是研究索引策略必須要實現(xiàn)的問題，因此，本文對分詞進行了研究。首先分析了分詞歧義，然后剖析了當前各種處理歧義問題的解決方案以及數(shù)據(jù)平滑問題，最后針對在分詞中非常重要的未登錄詞處理問題提出了一種解決方案。

2、 為研究中文索引策略，本文實現(xiàn)了一個信息檢索系統(tǒng)。首先研究了實現(xiàn)信息檢索系統(tǒng)中索引的組織、存儲、查找以及壓縮等問題，然后研究了檢索模型，最后選擇了恰當?shù)乃饕臄?shù)據(jù)結(jié)構(gòu)，確認目前被公認為較好的2-泊松概率模型的BM25公式為本文所使用的檢索模型。 本文對索引策略進行了深入研究。首先對基于詞的索引策略、一元文法索引策略和二元文法索引策略的性能進行了比較，然后探討了索引策略的融合問題，最后提出了改進的二元文法索引策略。本文應用2