網(wǎng)絡新詞發(fā)現(xiàn)算法研究.pdf

1、隨著信息時代的到來，互聯(lián)網(wǎng)正深刻地影響著人們的學習、工作、生活娛樂等各個方面，也改變了人們?nèi)粘５臏贤ū磉_方式，網(wǎng)絡新詞的不斷涌現(xiàn)就是一個很好的證明。在印歐體系語言中詞語之間會存在空格這種天然的分隔符號，與之不同的是中文詞語之間沒有這種的空格。而中文的最小獨立語言單位是詞，所以要想讓計算機有效地識別中文最初需要對其進行分詞。但是新詞的涌現(xiàn)會讓中文分詞后的結果產(chǎn)生很多不好辨別的“字符串碎片”，而這些“字符串碎片”會對分詞結果的準確率造成了很

2、大的影響。有學者做過研究統(tǒng)計，導致中文分詞錯誤的大部分原因是由新詞引起的。假如我們能夠迅速地識別網(wǎng)絡新詞并將識別到的新詞及時加入到中文詞典進行更新，這對于提高中文分詞系統(tǒng)的準確率和效率將有非常大的幫助。因此對新詞識別的研究現(xiàn)已成為了中文自然語言處理中一個非常重要的問題。
　　近年來，很多學者和研究機構在新詞識別這一領域做了許多研究工作，也取得了一些成果，但是新詞識別的準確率還不夠高。為了解決這個問題，本文基于微博消息的特點提出了一

3、種新詞識別方法。
　　首先為了確保語料的時效性，本文利用網(wǎng)絡爬蟲抓取新浪微博消息構建了一個語料庫。其次利用原子切分和N-gram算法對微博消息進行切分統(tǒng)計獲得候選字符串，并對其進行過濾得到候選新詞。接著本文根據(jù)微博消息的特點（大信息量和用詞趨簡性的特點）提出了一種新詞識別方法。然后本文將新詞識別和分詞結合起來，并利用分詞后的結果來檢測識別候選新詞。最后本文利用平均互信息對上面提出的方法做了進一步的改進，提升了新詞識別的效率。對比其