支持向量機(jī)分類(lèi)方法及其在文本分類(lèi)中的應(yīng)用研究.pdf

1、支持向量機(jī)作為一種基于統(tǒng)計(jì)學(xué)習(xí)理論的新型機(jī)器學(xué)習(xí)方法，較好地解決了非線性、高維數(shù)、局部極小點(diǎn)等實(shí)際問(wèn)題，是機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)。文本分類(lèi)是基于內(nèi)容的自動(dòng)信息管理的核心技術(shù)。文本向量稀疏性大、維數(shù)高、特征之間具有較大的相關(guān)性，支持向量機(jī)對(duì)于特征相關(guān)性和稀疏性不敏感，處理高維數(shù)問(wèn)題具有較大的優(yōu)勢(shì)，因此，支持向量機(jī)非常適用于文本分類(lèi)問(wèn)題，在文本分類(lèi)中具有很大的應(yīng)用潛力。但是，同時(shí)，文本分類(lèi)也給支持向量機(jī)提出了許多富有挑戰(zhàn)性的課題。例如，文

2、本分類(lèi)具有類(lèi)別和樣本數(shù)目多、噪音多等特點(diǎn)，支持向量機(jī)用于文本分類(lèi)時(shí)存在訓(xùn)練和分類(lèi)速度較慢等缺點(diǎn)。該文主要針對(duì)支持向量機(jī)在文本分類(lèi)等實(shí)際應(yīng)用中存在的問(wèn)題進(jìn)行深入研究。 主要工作如下： 1、支持向量機(jī)是針對(duì)兩類(lèi)分類(lèi)問(wèn)題提出的，如何將其有效地推廣到多類(lèi)分類(lèi)仍是一個(gè)尚未完全解決的問(wèn)題。分析了現(xiàn)有支持向量機(jī)多類(lèi)分類(lèi)方法的特點(diǎn)，并給出了一種半模糊核聚類(lèi)算法，在此基礎(chǔ)上，根據(jù)樹(shù)型支持向量機(jī)的特性，提出了一種基于半模糊核聚類(lèi)的樹(shù)型支持向

3、量機(jī)多類(lèi)分類(lèi)方法。該方法基于半模糊核聚類(lèi)算法挖掘不同類(lèi)別之間的銜接和離散信息，設(shè)計(jì)樹(shù)型支持向量機(jī)的樹(shù)型結(jié)構(gòu)，克服其差錯(cuò)積累問(wèn)題。實(shí)驗(yàn)表明，與其它支持向量機(jī)多類(lèi)分類(lèi)方法相比，該方法具有較高的分類(lèi)精度和訓(xùn)練速度，提高了支持向量機(jī)在多類(lèi)分類(lèi)問(wèn)題中的應(yīng)用效果。 2、針對(duì)標(biāo)準(zhǔn)支持向量機(jī)對(duì)噪音敏感，分類(lèi)時(shí)傾向于樣本數(shù)目較多的類(lèi)別的問(wèn)題，給出一種模糊支持向量機(jī)的推廣模型，并在此基礎(chǔ)上，結(jié)合近似支持向量機(jī)的優(yōu)勢(shì)，提出了一種支持向量機(jī)組合分類(lèi)方法

4、。該方法首先采用近似支持向量機(jī)快速地去除非支持向量、減少訓(xùn)練樣本數(shù)目、確定樣本權(quán)值和模型參數(shù)，然后在樣本數(shù)目較少的訓(xùn)練集上，依據(jù)選擇好的模型參數(shù)和樣本權(quán)值訓(xùn)練模糊支持向量機(jī)的推廣模型。實(shí)驗(yàn)表明，該方法能有效確定樣本權(quán)值，減少訓(xùn)練時(shí)間，并克服野值點(diǎn)和類(lèi)別訓(xùn)練樣本數(shù)目不均衡對(duì)分類(lèi)器的不利影響。 3、通常情況下，支持向量的數(shù)目越多，支持向量機(jī)的分類(lèi)速度越慢，如何縮減支持向量集合、提高支持向量機(jī)的分類(lèi)速度是支持向量機(jī)的重要研究?jī)?nèi)容之一。

5、在分析了現(xiàn)有支持向量集合縮減方法的基礎(chǔ)上，提出了一種基于虛樣本與支持向量回歸的支持向量集合縮減方法。該方法是根據(jù)支持向量集合和支持向量回歸方法的特性，對(duì)Osuna等提出的支持向量集合縮減方法的改進(jìn)。該方法通過(guò)引入虛樣本剔除支持向量集合中的冗余樣本，生成虛邊界支持向量，解決了當(dāng)冗余支持向量數(shù)目較多、邊界支持向量數(shù)目很少時(shí)，Osuna等提出的方法不能有效縮減支持向量集合的問(wèn)題。實(shí)驗(yàn)表明，該方法在基本不降低支持向量機(jī)分類(lèi)精度的前提下，比Osu

6、na等提出的方法更大程度地減少了支持向量的數(shù)目，提高了支持向量機(jī)的分類(lèi)速度。 4、基于支持向量機(jī)在文本分類(lèi)中的優(yōu)勢(shì)，將支持向量機(jī)方法應(yīng)用于文本分類(lèi)的特征提取，提出了一種基于支持向量機(jī)的單詞聚類(lèi)方法。該方法基于支持向量機(jī)度量單詞對(duì)分類(lèi)的貢獻(xiàn)大小，將對(duì)分類(lèi)貢獻(xiàn)一致的單詞合并起來(lái)作為文本向量的一個(gè)特征項(xiàng)。實(shí)驗(yàn)表明，該方法在基本不丟失分類(lèi)信息的前提下，較大程度地降低了文本向量的維數(shù)、減少了文本特征之間的相關(guān)性，并提高了文本分類(lèi)的查準(zhǔn)率和