面向現(xiàn)代漢語(yǔ)文本處理的全文檢索、自動(dòng)分詞通用系統(tǒng).pdf

1、全文檢索是現(xiàn)代信息檢索技術(shù)的一個(gè)非常重要的分支，它是處理非結(jié)構(gòu)化數(shù)據(jù)的強(qiáng)大工具，也是搜索引擎的核心技術(shù)之一。本研究對(duì)中文全文檢索的有關(guān)技術(shù)進(jìn)行了較為深入的研究，重點(diǎn)放在全文檢索技術(shù)的應(yīng)用上。對(duì)如何利用新技術(shù)、改善檢索系統(tǒng)的結(jié)構(gòu)、提高檢索系統(tǒng)的性能和效率、不斷適應(yīng)信息技術(shù)發(fā)展的需求等方面進(jìn)行了新的探索。 全文檢索是一種I／O密集型的應(yīng)用，以往的全文檢索系統(tǒng)的開(kāi)發(fā)多在關(guān)系數(shù)據(jù)庫(kù)的基礎(chǔ)上進(jìn)行。本研究針對(duì)全文數(shù)據(jù)庫(kù)的特點(diǎn)，指出此方式的弊

2、端與不足，并提出了基于文件系統(tǒng)進(jìn)行構(gòu)建的解決方案。由于目前全文檢索系統(tǒng)的開(kāi)發(fā)平臺(tái)并不多見(jiàn)，本文介紹了一種全文檢索引擎工具包——Lucene，它功能強(qiáng)大，小巧精悍，便于嵌入各種應(yīng)用。近年在世界各地被廣泛使用，諸如IBM等公司都使用其核心代碼。作為一個(gè)開(kāi)源軟件，為我們掌握搜索引擎的核心技術(shù)提供了絕佳機(jī)會(huì)，根據(jù)現(xiàn)代漢語(yǔ)文本的特點(diǎn)對(duì)進(jìn)行二次開(kāi)發(fā)，是一件很有意義的事情。 漢語(yǔ)自動(dòng)分詞及詞性標(biāo)注是中文信息處理中的重要環(huán)節(jié)。針對(duì)現(xiàn)代漢語(yǔ)自動(dòng)分

3、詞及詞性標(biāo)注的難點(diǎn)，本研究在自動(dòng)分詞方面進(jìn)行了如下探索：1．對(duì)幾種常用電子詞典的結(jié)構(gòu)進(jìn)行了分析和比較，實(shí)現(xiàn)了核心詞典+專業(yè)詞典的雙訶典策略，提高了系統(tǒng)的靈活性和適應(yīng)性。2．采用根據(jù)分詞有向無(wú)環(huán)圖確定歧義字段的策略，一次性找出所有交集型和組合型歧義字段。3．采用基于角色標(biāo)注的方法，識(shí)別未登錄詞中的中國(guó)人名、地名和外國(guó)人譯名。4．采用規(guī)則的方法，對(duì)數(shù)字詞及重疊詞進(jìn)行了分析和處理。5．利用基于隱馬模型的漢語(yǔ)自動(dòng)分詞及標(biāo)注一體化系統(tǒng)，實(shí)現(xiàn)了切分