基于統(tǒng)計的無監(jiān)督新詞和組合詞發(fā)現(xiàn)算法研究.pdf

1、當前的大多數(shù)中文分詞系統(tǒng)都是基于詞典的,但是其不能正確的切分文本中新詞(字典中不包括)。這些基于詞典的分詞系統(tǒng)在處理包含較多新詞的文本時,效果較差。
　　當前新詞識別算法包括有監(jiān)督和無監(jiān)督兩種,但是有監(jiān)督需要一個詳細標注的語料庫,往往獲得這樣的一個語料庫是相當困難的。不同的是無監(jiān)督所需要的先驗知識就要少得多,并且能方便的使用相應(yīng)的度量準則衡量一個候選詞成為一個新詞的可能性。然而當前無監(jiān)督算法收詞頻的影響較大,對稀疏的文本數(shù)據(jù)集來說

2、處理效果是不能令人滿意的。
　　本文主要研究基于統(tǒng)計的無監(jiān)督中文新詞發(fā)現(xiàn)算法和組合詞識別算法。并相應(yīng)的提出了:重疊子字符串新詞度量準則和改進的重疊子字符串組合詞度量準則。重疊子字符串新詞度量準則從候選詞的內(nèi)部和候選詞的外部同時考慮一個候選詞成為新詞的可能性,并使用相對詞頻,所以能較好的處理相對稀疏的文本數(shù)據(jù)。并與另外三個現(xiàn)存的新詞發(fā)現(xiàn)算法做了實驗對比,實驗結(jié)果表明我們的新詞發(fā)現(xiàn)算法,比這三個對比算法有較大改進。改進的重疊子字符串組