基于論壇語料的未登錄詞自動識別新方法.pdf

1、未登錄詞識別一直是中文分詞研究領(lǐng)域的瓶頸。為解決中文分詞中未登錄詞識別效率低的問題，提出基于論壇語料對中文未登錄詞進(jìn)行識別的新方法：首先利用網(wǎng)絡(luò)蜘蛛下載論壇網(wǎng)頁；然后對該語料庫進(jìn)行周期性的更新以隨時保持語料的新鮮度，以構(gòu)建一個具備高時效性的語料庫；接下來對語料庫進(jìn)行分詞，具體是先將Mutual Information函數(shù)和DuplicatedCombination Frequency函數(shù)線性疊加構(gòu)造出新統(tǒng)計(jì)量MD(由Mutual Inf

2、ormation函數(shù)和Duplicated Combination Frequency函數(shù)的首字母結(jié)合而成)，再用MD函數(shù)對語料庫進(jìn)行分詞產(chǎn)生候選詞表；最后通過對比候選詞表與原始詞表發(fā)現(xiàn)未登錄詞，并將識別出的未登陸詞擴(kuò)充到原始核心詞庫中，以便在下一次分詞過程中可以一次性識別出該未登錄詞。
　　 中文分詞與一般英文分詞不同，中文的語言構(gòu)成和使用習(xí)慣使得中文分詞比英文分詞困難很多。在該領(lǐng)域先后產(chǎn)生三種傳統(tǒng)的中文分詞算法：基于字符串查

3、找的機(jī)械匹配算法；基于理解的算法和基于統(tǒng)計(jì)的算法。三種算法對于未登錄詞的識別都存在不同程度的問題：機(jī)械匹配算法從根本上就無法實(shí)現(xiàn)未登錄詞的識別；理解算法由于算法復(fù)雜、實(shí)現(xiàn)難度大，實(shí)際開發(fā)和應(yīng)用并不廣泛；統(tǒng)計(jì)算法在一定程度上可以解決部分未登錄詞，一度成為比較流行的算法，但是現(xiàn)有的統(tǒng)計(jì)算法仍然出現(xiàn)較多誤判和無法判定的情況。
　　 總的說來，基于統(tǒng)計(jì)的算法是一個實(shí)際應(yīng)用中相對可行的一種方法，因此本文提出一種改進(jìn)的統(tǒng)計(jì)算法對未登錄詞進(jìn)行

4、識別。具體策略如下：第一，本文首次將網(wǎng)絡(luò)論壇－天涯論壇，引入未登錄詞識別研究中，利用網(wǎng)絡(luò)蜘蛛下載論壇網(wǎng)頁。第二，通過預(yù)處理網(wǎng)頁構(gòu)建語料庫，并對該語料庫進(jìn)行周期性的更新以獲取具備較強(qiáng)時效性的語料。第三，將MutualInformation函數(shù)和Duplicated Combination Frequency函數(shù)線性結(jié)合構(gòu)造出新統(tǒng)計(jì)量MD，運(yùn)用該MD函數(shù)對語料庫進(jìn)行分詞產(chǎn)生候選詞表。第四，通過對函數(shù)的反復(fù)訓(xùn)練，選定較優(yōu)的閾值，對比候選詞表與