改進(jìn)的SVM+算法在文本分類中的應(yīng)用研究.pdf

1、本文從理論以及實驗兩個層次對支持向量機(jī)算法進(jìn)行了深入的研究，同時將改進(jìn)算法運用在文本分類中。
　　首先，本文詳細(xì)的介紹了文本分類系統(tǒng)的總體模型，包括:文本表示、特征選擇方法、文本分類算法。認(rèn)真研究了支持向量機(jī)算法的基本原理，并且對支持向量機(jī)訓(xùn)練算法中訓(xùn)練時間長和消耗內(nèi)存大的缺點加以討論，隨后詳細(xì)的討論了SVM訓(xùn)練算法的改進(jìn)算法，包括:Chunking算法、大規(guī)模分解法。
　　其次詳細(xì)的分析了SMO序列最小化優(yōu)化算法，同時詳細(xì)

2、的研究了GeneralizedSMO訓(xùn)練算法在訓(xùn)練時間上要優(yōu)于SMO算法，由于SMO算法在有限的步驟之內(nèi)不能得到一個精確的值。分析了在訓(xùn)練樣本數(shù)相差比較大的情況下基于不同的懲罰系數(shù)C+和C-算法，并詳細(xì)的研究了新學(xué)習(xí)理論:基于特權(quán)信息學(xué)習(xí)。該學(xué)習(xí)理論在現(xiàn)有的機(jī)器學(xué)習(xí)理論基礎(chǔ)上加入了人類教學(xué)的元素，在訓(xùn)練階段加入信息中隱藏的解釋、意見、比較等等?；谝陨嫌?xùn)練優(yōu)化算法和新學(xué)習(xí)理論基礎(chǔ)上，設(shè)計了本文核心算法。
　　最后本文利用搭建的系統(tǒng)

3、，對改進(jìn)算法的性能作了詳細(xì)的實驗研究。在特征提取上去除了一些不具代表性的特征項，在特征選擇上基于tf-idf的思想去除信息增益值小于設(shè)定的閾值的特征詞。核函數(shù)選取高斯徑向基核函數(shù)，同時在文章中給出了改進(jìn)算法的核心偽代碼。為了測試改進(jìn)算法的優(yōu)越性，實驗對比了改進(jìn)算法的準(zhǔn)確率、召回率和訓(xùn)練時間。實驗表明改的算法在訓(xùn)練時加入對兩個類別施加不同懲罰系數(shù)的方法，該算法可以較好的處理了文本分類中非平衡數(shù)據(jù)集的問題。改進(jìn)算法加入了文本特權(quán)信息不但提高