基于詞平面的現(xiàn)代漢語高效分詞方法研究.pdf

1、漢語分詞是中文信息處理的一項基礎(chǔ)性研究課題，其重要性不言而喻。雖然漢語分詞相關(guān)研究已有20多年，但仍有一部分問題沒有得到解決，這也是研究人員至今仍然對該課題進行研究的原因。 目前漢語分詞的困惑主要是：1、分詞算法要么切分速度快，而正確率較低，如最大匹配法；2、要么切分正確率較高，而切分速度較慢。針對這個兩難的問題本文給出了一個基于詞平面的一體化切詞算法，該方法有效提高了分詞的速度，同時保證切分詞語的準確率。同時該算法還提出了特定

2、領(lǐng)域支撐系統(tǒng)的方法，有效解決了農(nóng)業(yè)等特定領(lǐng)域詞匯切分出錯的問題。 基于詞平面的一體化切詞算法對分詞速度的改進主要在三個方面。這三個方面分別為：詞典結(jié)構(gòu)、切詞算法、最短路徑搜索算法。區(qū)別于以往的分詞詞典結(jié)構(gòu)，本研究提出了雙數(shù)組 Tile 的漢語詞典結(jié)構(gòu)，該結(jié)構(gòu)有效提高了一元和二元詞典的檢索效率，同時降低詞典的空間復(fù)雜度。在切詞算法上，本研究提出了基于局部歧義詞網(wǎng)格的切詞算法，該算法可以有效過濾掉切分過程中的“碎詞”，這樣降低了后續(xù)