基于SVM的中文文本自動(dòng)分類系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、近些年來，隨著Internet的迅速發(fā)展，出現(xiàn)了大量的自然語(yǔ)言文本，如何在這些信息中提取對(duì)我們有用的信息已經(jīng)成為當(dāng)前研究的一個(gè)熱點(diǎn)問題，同時(shí)這也是文本自動(dòng)分類的主要任務(wù)之一。幾何級(jí)數(shù)增長(zhǎng)的電子文本、海量信息在日常生活中的傳播，都迫切的需要我們對(duì)這些文本進(jìn)行自動(dòng)分類。使用文本自動(dòng)分類系統(tǒng)可以幫助人們自動(dòng)檢索文本，以及判斷文本的類別。
　　 分類問題是實(shí)際應(yīng)用中普遍存在的問題，隨著信息技術(shù)的快速發(fā)展，對(duì)其在理論研究和實(shí)際應(yīng)用中提出了

2、新的難題和挑戰(zhàn)。建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的支持向量機(jī)是一種新型的機(jī)器學(xué)習(xí)方法，它根據(jù)有限的樣本信息在模型的復(fù)雜度和期望風(fēng)險(xiǎn)之間尋求最佳方案，從而獲得比較好的泛化性能。與傳統(tǒng)的學(xué)習(xí)方法相比，SVM具有對(duì)維數(shù)不太敏感、收斂到全局最優(yōu)點(diǎn)、泛化能力強(qiáng)等的優(yōu)點(diǎn)，比較好的解決了傳統(tǒng)算法中經(jīng)常出現(xiàn)的維數(shù)災(zāi)難、局部極值、過學(xué)習(xí)等的棘手問題，逐漸成為近幾年機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)非常活躍的研究熱點(diǎn)。
　　 本文首先介紹了文本自動(dòng)分類技術(shù)在國(guó)內(nèi)外的研究現(xiàn)

3、狀；其次對(duì)文本自動(dòng)分類所涉及的關(guān)鍵技術(shù)，包括中文文本分類的過程、中文分詞方法、特征提取、特征項(xiàng)權(quán)重的計(jì)算方法以及幾種比較常用的分類算法，分別進(jìn)行了研究和探索；再次對(duì)SVM理論進(jìn)行了概括性的介紹，包括統(tǒng)計(jì)學(xué)習(xí)理論、SVM的最優(yōu)分類面、各種情況下的分類情況、SVM的核函數(shù)以及分類步驟等；接下來是構(gòu)建一種SVM分類器，介紹了中文文本自動(dòng)分類系統(tǒng)的總體框架，系統(tǒng)流程和各個(gè)功能模塊；最后對(duì)分類系統(tǒng)中基于不同算法的分類器分別進(jìn)行實(shí)驗(yàn)比較，著重對(duì)SV