基于SVM和詞特征的新詞識別研究.pdf

1、隨著中國進入快速發(fā)展的新時代，漢語也在隨著時代的發(fā)展而發(fā)展，作為漢語的重要組成部分，詞語的更新變的最為活躍，在日常科技、經(jīng)濟、文化生活中，大量的漢語新詞不斷地涌現(xiàn)，新詞的產(chǎn)生豐富了人們的日常生活和網(wǎng)絡(luò)生活的語言表達，但同時也給漢語分詞帶來了挑戰(zhàn)。與英語和其他一些字母語言不同，漢語詞語之間沒有明顯的分割，比如英語中詞和詞之間的就有空格這種天然的分割符號，所以想讓計算機讀懂漢語必須先進行漢語的分詞，然而新詞的出現(xiàn)卻使得漢語分詞產(chǎn)生很多難以識

2、別的“散串”和“碎片”，這些在一定程度上影響到了分詞的正確率，根據(jù)統(tǒng)計，造成漢語分詞的錯誤過半的原因是由新詞造成的，如果能夠?qū)⑿略~快速及時的組織到漢語分詞字典中，那對于提升漢語分詞系統(tǒng)的準確率無疑具有巨大的促進作用。因此，新詞發(fā)現(xiàn)已經(jīng)成為漢語自動分詞中的一個難點與瓶頸問題。如何識別尋找漢語新詞成了一個重要的研究課題。
　　 支持向量機SVM(Support Vector Machine)是一種可訓(xùn)練的機器學(xué)習(xí)方法，它在解決小樣本

3、、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中，本文結(jié)合提出的詞特征和SVM進行新詞識別和提取，首先通過修改分詞字典進行模擬新詞，借助分詞字典對訓(xùn)練語料和測試語料進行分詞，統(tǒng)計出各種選擇的詞特征，然后對從訓(xùn)練語料中抽取的正負樣本結(jié)合詞特征進行向量化，選取不同的核函數(shù)通過支持向量機的訓(xùn)練得到新詞分類支持向量。通過增加松弛變量來提高分類的準確率，最后將訓(xùn)練語料中得到的新詞分類支持向量以及對測試語料

4、中得到的新詞候選向量結(jié)合進行SVM測試，得到每一個候選新詞的計算值，根據(jù)計算值和閾值的比較得到最終的新詞識別結(jié)果。
　　 通過設(shè)計編寫的新詞識別程序?qū)崿F(xiàn)對訓(xùn)練語料的候選新詞提取以及生成新詞識別支持向量，然后結(jié)合測試語料輸出識別結(jié)果。通過新詞分類程序?qū)崿F(xiàn)對測試語料的召回率和正確率的計算以及生成新詞分類圖像。對約含有300,000個漢字的人民日報語料進行整合處理后，在分詞字典中模擬刪除了100個詞作為模擬新詞，結(jié)合新詞識別程序和新詞

5、分類程序進行實驗得到提取的新詞和召回率、正確率。
　　 本文首先選取徑向基核函數(shù)(RBF)和相關(guān)松弛變量采用不同的詞特征進行實驗，通過實驗結(jié)果分析得出所選的詞特征都會對新詞識別的結(jié)果產(chǎn)生積極的作用，因此在進行下一步實驗時采用了提出的全部的詞特征，然后在其他條件相同的情況下，分別采用了徑向基核函數(shù)(RBF)、多項式核函數(shù)和Sigmoid核函數(shù)進行實驗，通過實驗結(jié)果可以看出，當使用徑向基核函數(shù)(RBF)和全部詞特征時，新詞識別的正確