基于支持向量機的中文分詞系統(tǒng)的研究.pdf

1、通計學習理論，著重研究在小樣本情況下的統(tǒng)計規(guī)律及學習方法性質(zhì)。它為機器學習問題建立了一個較好的理論框架，也發(fā)展了一種新的通用學習算法一支持向量機(SViM)。本文從支持向量機理論、方法和應用結(jié)合的角度出發(fā)，研究了支持向量機在中文分詞中的應用。主要包括了以下的工作內(nèi)容： 1、通過對SVIM的研究，根據(jù)SVM的分類特征，對樣本輸入的要求，核函數(shù)與參數(shù)進行選擇。并且在對支持向量機分類時出錯樣本點的分布進行研究的基礎(chǔ)上，考慮將支持向量機

2、與其它分類方法進行結(jié)合，如與最近鄰分類(KNN)等分類算法進行結(jié)合，形成一種具有更高分類準確率的分類器。同時可以較好的解決應用支持向量機分類時核函數(shù)參數(shù)的選擇問題，能較廣泛的應用在各個分類領(lǐng)域中。 2、詳細介紹SVM在詞頻統(tǒng)計中文分詞中的應用。可將輸入的連續(xù)字串進行分詞處理，輸出分割后的漢語詞串，一般為二字詞串，并得到一個詞典。詞典中不重復地存儲了每次處理中得到的詞語，以及這些詞語出現(xiàn)的頻率。選用了互信息原理進行統(tǒng)計。并采用SV