中文信息檢索索引單元的研究.pdf

1、隨著Intemet在全世界的迅猛發(fā)展，各種信息資源越來越豐富。信息檢索作為互聯(lián)網(wǎng)的核心技術(shù)具有極大的商業(yè)價(jià)值；信息檢索還直接影響到提供給用戶什么樣的信息；同時(shí)信息檢索也是情報(bào)處理的重要環(huán)節(jié)。從這個(gè)意義來看，研究并掌握信息檢索的核心技術(shù)，無疑具有十分重要的經(jīng)濟(jì)意義、社會意義和軍事意義。 本文對中文信息檢索中的索引策略進(jìn)行了研究。由于中文文本沒有用于切分單詞的空格，這使得索引單元的研究成為中文信息檢索的特有問題。本文比較的索引策略包

2、括基于字的索引、基于詞的索引和基于字的n元文法的索引。本文包括以下幾個(gè)方面的內(nèi)容： 1、漢語自動分詞。漢語分詞是以詞為索引單元的信息檢索不可缺少的一步。本文分析了漢語自動分詞中的歧義現(xiàn)象，然后介紹了用于處理自然語言的歧義問題的語言模型，最后介紹了應(yīng)用于語言模型的平滑算法。綜合使用這些技術(shù)，使?jié)h語自動分詞獲得了很高的準(zhǔn)確率，滿足了信息檢索的需要。 2、信息檢索系統(tǒng)實(shí)現(xiàn)問題，即信息檢索系統(tǒng)的數(shù)據(jù)組織方式。對信息檢索系統(tǒng)待處

3、理的數(shù)據(jù)進(jìn)行高效的組織是進(jìn)行信息檢索的必要前提。數(shù)據(jù)組織方式影響系統(tǒng)的檢索速度和存儲空間。這部分首先介紹了索引的組織方法，包括正向索引和倒排索引；然后在關(guān)鍵字的組織查找方式中介紹了兩種常用的查找方法B-樹和哈希表；隨后是信息檢索中的數(shù)據(jù)壓縮方法：最后是信息檢索系統(tǒng)數(shù)據(jù)組織的具體實(shí)現(xiàn)。本文根據(jù)實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn)，恰當(dāng)?shù)剡x擇了數(shù)據(jù)組織方法，滿足了實(shí)驗(yàn)的要求。 3、中文信息檢索中的索引策略。本文應(yīng)用概率模型在TREC公開數(shù)據(jù)(TREC