面向企業(yè)信息檢索的中文分詞系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著企業(yè)信息的飛速增長(zhǎng)，企業(yè)信息檢索逐漸成為信息檢索領(lǐng)域研究的熱點(diǎn)，中文分詞作為信息檢索的文本處理階段一個(gè)重要步驟，直接影響著檢索結(jié)果的準(zhǔn)確性。學(xué)術(shù)界關(guān)于分詞技術(shù)的研究一直比較多，但是目前的研究大多是通用的分詞算法，專(zhuān)門(mén)針對(duì)企業(yè)檢索應(yīng)用的分詞技術(shù)研究相對(duì)較少。因此，研究中文分詞技術(shù)在企業(yè)信息檢索中的應(yīng)用有重要的理論和現(xiàn)實(shí)意義。
　　 本文研究了中文分詞的關(guān)鍵技術(shù)及難點(diǎn)，分析了分詞對(duì)大規(guī)模信息檢索的影響，在此基礎(chǔ)上結(jié)合企業(yè)信息檢索

2、中分詞技術(shù)的特點(diǎn)，設(shè)計(jì)了中文分詞系統(tǒng)(EIRCWS)。由于面向企業(yè)信息檢索的分詞算法對(duì)時(shí)間性能要求較高，本文設(shè)計(jì)了一種新的多字哈希結(jié)構(gòu)的詞典，改善了詞典查詢算法，提高了分詞效率。歧義消除和未登錄詞識(shí)別是分詞的兩大技術(shù)難點(diǎn)?？紤]到企業(yè)信息檢索應(yīng)用的特點(diǎn)，在歧義消除部分，本文重點(diǎn)解決交叉歧義問(wèn)題，利用雙向匹配結(jié)果進(jìn)行比較來(lái)檢測(cè)歧義，采用自定義規(guī)則來(lái)消除歧義。在未登錄詞識(shí)別部分，本文提出了一種新的未登錄詞識(shí)別方法，利用數(shù)量詞識(shí)別規(guī)則和虛字輔助