基于蜂群算法和改進(jìn)KNN的文本分類(lèi)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,文本信息量成幾何級(jí)數(shù)增長(zhǎng),人們可獲得的網(wǎng)絡(luò)信息資源越來(lái)越多。面對(duì)海量信息,人們對(duì)快速、準(zhǔn)確且全面獲取信息的渴望與信息的雜亂無(wú)序、各類(lèi)數(shù)據(jù)爆發(fā)式的增長(zhǎng)產(chǎn)生了矛盾。而文本分類(lèi)作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù),可在較大程度上解決信息雜亂問(wèn)題,對(duì)于信息的高效管理和有效利用都具有極其現(xiàn)實(shí)的意義,并已成為數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要的研究方向。本文在分析和總結(jié)文本分類(lèi)中文本預(yù)處理、特征選擇、文本表示模型、分類(lèi)方法和分類(lèi)性能評(píng)價(jià)

2、的基礎(chǔ)上,對(duì)特征選擇、分類(lèi)方法進(jìn)行了深入研究。
　　本文的主要研究工作如下:
　　(1)針對(duì)文本分類(lèi)中初始特征空間維數(shù)過(guò)高、初始特征集大量冗余,從而導(dǎo)致分類(lèi)精度的下降的問(wèn)題,提出了一種基于模擬退火機(jī)制的蜂群優(yōu)化特征選擇算法,對(duì)初始特征集進(jìn)行有效降維從而達(dá)到提高分類(lèi)精度的效果。該方法中,以蜂群算法流程為主體,把模擬退火機(jī)制引入其中,選擇合適的蜂群數(shù)量和溫度下降函數(shù),并通過(guò)實(shí)驗(yàn)與與卡方統(tǒng)計(jì)、信息增益和互信息等算法進(jìn)行對(duì)比,從而證

3、明該特征選擇方法對(duì)于提高文本分類(lèi)性能是較為有效的。
　　(2)針對(duì)傳統(tǒng)KNN算法在處理大數(shù)據(jù)集時(shí)的不足,本文提出一種基于聚類(lèi)去噪及密度裁剪的改進(jìn)KNN算法。該算法通過(guò)聚類(lèi)手段進(jìn)行去噪處理,并且通過(guò)加快K近鄰的搜索速度提高KNN算法的分類(lèi)效率,同時(shí)保持 KNN算法的分類(lèi)精度。通過(guò)實(shí)驗(yàn)證明,該算法能夠有效的提高KNN算法在處理大數(shù)據(jù)集時(shí)的分類(lèi)效率,并且很好的保持了KNN算法的分類(lèi)精度,具有良好的分類(lèi)性能。
　　本文通過(guò)對(duì)文本分類(lèi)