基于Hash算法的中文自動分詞技術(shù)研究.pdf

1、中文自動分詞技術(shù)是網(wǎng)絡搜索引擎的關(guān)鍵技術(shù)之一，是中文信息處理中的重要環(huán)節(jié)，也是智能計算、文獻標引、自然語言理解和處理的基礎(chǔ)。在對Hash算法和現(xiàn)有分詞詞典機制研究基礎(chǔ)上，根據(jù)漢語中四字成語較多這一事實，提出了四字哈希的分詞詞典機制（該機制未見有相關(guān)論文報道），基于這種詞典設(shè)計了一種快速的分詞算法。理論分析表明該算法的時間復雜度比現(xiàn)有的分詞算法都有很大的改進，但在存儲空間上要比其它的分詞算法大1M左右。因1M左右的內(nèi)存和實時信息處理中的響

2、應時間比起來不重要，所以這個算法是很有實用價值的。歧義字段切分和未登錄詞識別是影響中文自動分詞切分精度的兩個主要因素。針對歧義字段切分，首先分析了歧義產(chǎn)生的根源，然后研究了歧義字段的識別和處理方法，在此基礎(chǔ)上提出了一種基于知識庫的交集型歧義字段切分算法和一種改進的上下文相關(guān)的歧義字段切分算法。前者在使用的過程中，可以通過知識學習的手段，以豐富系統(tǒng)的知識，提高分詞的精度，缺點是分詞知識的選取和知識庫的構(gòu)造比較困難；后者充分挖掘了歧義字段所