中文自動(dòng)分詞法在全文檢索中的研究及應(yīng)用.pdf

1、中文自動(dòng)分詞，就是利用計(jì)算機(jī)將連續(xù)文本切分為以詞為單位的字符序列。全文檢索是以文檔的全部信息作為檢索對(duì)象的一種檢索方式，較以往以文檔外部信息如題名、關(guān)鍵字等的檢索，全文檢索既提高了檢索精度和檢索速度，也擴(kuò)展了用戶檢索的自由度。中文自動(dòng)分詞是全文檢索的首要步驟，也是中文信息處理的基礎(chǔ)，因此，對(duì)其研究具有重要的理論和現(xiàn)實(shí)意義。 本文在對(duì)傳統(tǒng)自動(dòng)分詞系統(tǒng)及目前已有的主要自動(dòng)分詞算法研究的基礎(chǔ)上，對(duì)傳統(tǒng)分詞詞典的組織結(jié)構(gòu)和分詞算法都做了

2、改進(jìn)，具體工作如下：設(shè)計(jì)了基于Hash的三層分詞詞典組織結(jié)構(gòu)，以提高詞典查詢效率；對(duì)傳統(tǒng)的最大正向匹配算法進(jìn)行了改進(jìn)，將傳統(tǒng)的固定最大匹配詞長(zhǎng)改為分詞過程中動(dòng)態(tài)確定，充分體現(xiàn)了“長(zhǎng)詞優(yōu)先”原則；對(duì)于分詞中的歧義字段問題，分別對(duì)交集型歧義和組合型歧義進(jìn)行了分析，并針對(duì)占歧義字段總數(shù)90％以上的交集型歧義識(shí)別提出了一種改進(jìn)的最大正向匹配算法；對(duì)分詞中的未登錄詞識(shí)別問題，分別對(duì)三種主要形式人名、地名、機(jī)構(gòu)名進(jìn)行了分析，并針對(duì)地名提出了一種新的