基于支持向量機(jī)與聚類算法的中文文本分類研究.pdf

1、隨著國際互聯(lián)網(wǎng)飛速發(fā)展,各種電子文本數(shù)據(jù)的數(shù)量激增,如何快速有效地獲取、管理和使用這些文本數(shù)據(jù),已經(jīng)成為信息系統(tǒng)科學(xué)迫切需要解決的重要問題。近十年來,作為解決這些問題的基本工具之一,基于文本內(nèi)容的自動文本分類技術(shù)得到了空前的發(fā)展,引起了人們的普遍關(guān)注。文本自動分類是指由計算機(jī)自動判別文本類別的過程,文本分類問題具有文本向量稀疏性大、維數(shù)高、特征之間具有較大的相關(guān)性的特點(diǎn)。支持向量機(jī)對于特征相關(guān)性和稀疏性不敏感,且在處理高維數(shù)問題時較其它

2、方法具有較大優(yōu)勢,因此,支持向量機(jī)非常適合于文本分類問題,在文本分類中具有很大的應(yīng)用潛力。同時,文本分類也給支持向量機(jī)提出了許多富有挑戰(zhàn)性的課題,目前應(yīng)用支持向量進(jìn)行文本分類主要存在著訓(xùn)練分類模型速度較慢等顯著的缺陷。
　　 本文針對支持向量進(jìn)行文本分類時存在著的訓(xùn)練分類模型速度較慢的缺陷,嘗試對支持向量機(jī)的訓(xùn)練樣本進(jìn)行某種預(yù)處理,以便盡量克服支持向量機(jī)的此類缺陷,更好地應(yīng)用于文本分類。已有的研究表明支持向量機(jī)的建立只取決于訓(xùn)練

3、樣本中的支持向量而與非支持向量無關(guān),因此本文從降低文本分類過程中文本向量數(shù)目的角度出發(fā),削減文本向量集中的非支持向量來加快訓(xùn)練支持向量機(jī)分類的速度。本文采用了一種基于密度概念的k-均值聚類算法,充分利用訓(xùn)練文本類別信息已知的條件,以兩兩聚類的方式在訓(xùn)練樣本預(yù)處理階段盡可能地削減訓(xùn)練樣本中的非支持向量保留支持向量,使得最終參與訓(xùn)練支持向量機(jī)的樣本數(shù)大大減少,從而生成了一個既具與傳統(tǒng)的支持向量機(jī)分類方法分類精度相當(dāng),又在時間復(fù)雜度方面有較大