基于規(guī)則與統(tǒng)計(jì)相融合的微博新詞發(fā)現(xiàn)研究.pdf

1、微博新詞的出現(xiàn)給短文本分詞工作帶來了極大的挑戰(zhàn)。本文從多個(gè)角度對微博新詞發(fā)現(xiàn)研究進(jìn)行較為全面地分析。結(jié)合微博新詞的構(gòu)詞規(guī)則自由度大和極其復(fù)雜的特點(diǎn)，針對信息抽取領(lǐng)域中傳統(tǒng)的C/NC-value方法抽取的結(jié)果新詞邊界的識別準(zhǔn)確率不高，以及低頻微博新詞無法正確識別的問題，提出了一種融合人工啟發(fā)式規(guī)則、C/NC-value改進(jìn)算法和兩種統(tǒng)計(jì)模型（條件隨機(jī)場(Conditional Random Field，CRF)和支持向量機(jī)(Support

2、 Vector Machine，SVM))的微博新詞抽取方法。
　　本文的主要貢獻(xiàn)在于提出了一種新的微博新詞發(fā)現(xiàn)方法，設(shè)計(jì)并實(shí)現(xiàn)一種二階段規(guī)則和統(tǒng)計(jì)融合的方法。在多種算法融合的基礎(chǔ)上，進(jìn)行優(yōu)勢互補(bǔ)，提高微博新詞的識別精度和領(lǐng)域適應(yīng)能力，降低人工成本。
　　本文的創(chuàng)新性主要體現(xiàn)在以下三方面:
　　(1)采用人工啟發(fā)式規(guī)則對微博新詞進(jìn)行分類和歸納總結(jié)，并從微博新詞構(gòu)詞的詞性、字符類別和表意符號等多個(gè)角度設(shè)計(jì)構(gòu)詞規(guī)則;