基于支持向量機(jī)的中文文本分類方法研究.pdf

1、隨著信息時(shí)代的到來(lái)和Intemet的日益普及，越來(lái)越多的信息以電子文本的形式存在于網(wǎng)絡(luò)上。如何從海量的文本中提取潛在的、有價(jià)值的知識(shí)成為信息處理的一大目標(biāo)。其中，文本分類作為信息處理的一個(gè)重要環(huán)節(jié)，已經(jīng)成為信息技術(shù)領(lǐng)域的一個(gè)主要研究方向。文本分類技術(shù)的出現(xiàn)，使文檔可以自動(dòng)地按照類別組織和處理，方便了人們準(zhǔn)確地定位所需的信息。同時(shí)，作為信息過(guò)濾、信息檢索、搜索引擎等領(lǐng)域的技術(shù)基礎(chǔ)，文本分類技術(shù)有著廣泛的應(yīng)用前景。
　　 分類算法是

2、文本分類問(wèn)題中最關(guān)鍵的部分，也是決定一個(gè)文本分類系統(tǒng)性能好壞的重要因素。支持向量機(jī)是Vapnik等在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來(lái)的一種新的機(jī)器學(xué)習(xí)方法。由于其具有良好的泛化性能、全局最優(yōu)、結(jié)構(gòu)簡(jiǎn)單、推廣能力強(qiáng)等優(yōu)點(diǎn)而受到重視，并被研究用于文本分類問(wèn)題。
　　 本文在對(duì)文本分類問(wèn)題進(jìn)行闡述的基礎(chǔ)上，對(duì)支持向量機(jī)的核函數(shù)進(jìn)行了深入的研究。在分析傳統(tǒng)的多項(xiàng)式核函數(shù)后，針對(duì)多項(xiàng)式核學(xué)習(xí)能力較差的缺點(diǎn)，將學(xué)習(xí)能力較強(qiáng)的條件正定核與多項(xiàng)式核構(gòu)

3、成一個(gè)混合核函數(shù)作為改進(jìn)的多項(xiàng)式核，并將其用于文本分類問(wèn)題，在此過(guò)程中做了如下工作：
　　 ①討論了文本分類中幾個(gè)關(guān)鍵的技術(shù)：文本特征選擇算法，特征權(quán)重計(jì)算以及分類算法。并對(duì)常用的文本特征選擇算法和分類算法進(jìn)行了闡述及優(yōu)缺點(diǎn)的分析。
　　 ②介紹了一種不滿足Mercer條件，但又能應(yīng)用于核學(xué)習(xí)的條件正定核，將其運(yùn)用于文本分類問(wèn)題，并分析了其作為文本分類器的特點(diǎn)。
　　 ③針對(duì)多項(xiàng)式核函數(shù)學(xué)習(xí)能力差的缺點(diǎn)，將學(xué)習(xí)能

4、力較強(qiáng)的條件正定核與多項(xiàng)式核構(gòu)成一個(gè)混合核函數(shù)作為改進(jìn)的多項(xiàng)式核函數(shù)。改進(jìn)的多項(xiàng)式核支持向量機(jī)文本分類器不僅具有良好的泛化能力，同時(shí)具有良好的學(xué)習(xí)能力，并且其結(jié)構(gòu)與文本向量的相似性度量有一定的聯(lián)系。
　　 ④為了驗(yàn)證本文提出的改進(jìn)方案，將改進(jìn)的多項(xiàng)式核函數(shù)與多項(xiàng)式核函數(shù)在相同的數(shù)據(jù)集上做了對(duì)比實(shí)驗(yàn)，通過(guò)比較其分類效果驗(yàn)證了改進(jìn)的多項(xiàng)式核SVM文本分類器要優(yōu)于傳統(tǒng)的多項(xiàng)式核SVM文本分類器。
　　 ⑤在實(shí)驗(yàn)的過(guò)程中，發(fā)現(xiàn)一