基于大規(guī)模語料的中文新詞識別技術(shù)研究.pdf

1、中文新詞識別是指從未標注文本語料中抽取新詞并識別其屬性的過程，是中文信息處理領(lǐng)域的一項基礎(chǔ)任務(wù)，其識別結(jié)果直接影響著分詞、句法分析的處理性能，同時亦在信息抽取及機器翻譯等領(lǐng)域有著廣泛應(yīng)用，具有重要的理論意義和實用價值。
　　 漢語具有極強的構(gòu)詞能力，加之詞語間沒有特定的分隔標記，導致任何兩個以上相鄰字符都有成詞的可能性，這給新詞自動識別帶來了極大困難；同時海量數(shù)據(jù)應(yīng)用需求激增又給新詞識別研究帶來了新的挑戰(zhàn)。為改善新詞識別性能，提

2、高實用性，本文以大規(guī)模語料為研究對象，應(yīng)用規(guī)則和統(tǒng)計相結(jié)合的策略，對新詞識別及相關(guān)技術(shù)進行了研究，主要工作和特點如下：
　　 首先，本文設(shè)計并初步實現(xiàn)了一個領(lǐng)域無關(guān)的新詞識別框架FNWI。該框架對新詞識別系統(tǒng)的靈活性、可擴展性和可維護性進行了統(tǒng)一規(guī)劃，F(xiàn)NWI不僅是本文研究展開的總體設(shè)計方案，還將為后繼工作提供一個良定義的基礎(chǔ)結(jié)構(gòu)。
　　 為有效處理大規(guī)模語料，本文提出一種基于逐層剪枝的重復模式提取算法。該算法通過低頻字

3、符剪枝和層次剪枝來減少重復模式提取過程中垃圾字符串的產(chǎn)生，有效地降低I/O讀寫次數(shù)。具有能快速處理規(guī)模遠大于內(nèi)存容量的語料、語料讀寫次數(shù)與規(guī)模接近線性關(guān)系；及使用靈活、可提取特定頻率/特定長度的重復模式的特點。為提高候選重復模式的歸并速度，本文還提出了一種改進的字符串排序算法，其時間復雜度為O(dn)。
　　 在新詞檢測階段，為提高檢測速度，提出一種高效的左（右）熵計算方法，有效減少了計算時無關(guān)字符的影響，顯著地提高熵的計算效率