自適應加權KNN文本分類.pdf

1、自動文本分類是自然語言處理中重要組成部分,用于組織和管理大量的文本數(shù)據(jù),被廣泛的應用于信息檢索、文檔過濾、詞義辨析等領域。文本分類涉及的主要技術有特征加權、特征選擇、維度約簡、文本表示、分類算法等。由于文本分類器在處理高維大數(shù)據(jù)集時時間和空間復雜度過高,降低文本表示維度和改進分類器設計是文本分類領域的研究熱點。
　　KNN(K-Nearest Neighbor)算法分類思想簡單、分類效果好,是文本分類領域應用最廣泛的分類器之一。但

2、經典KNN算法處理較大規(guī)模的文本分類任務時效率較低、分類速度慢,并且分類過程中關鍵特征與普通特征作用相同,同時也沒有區(qū)分樣本的作用,容易誤導分類過程。本文針對上述 KNN算法的缺陷,進行了分析和研究,著重進行如下工作內容:
　　1)針對KNN算法對高維特征空間分類時間長、精度低等缺點,提出自適應特征加權KNN文本分類算法。首先,以整體精度為優(yōu)化目標函數(shù),對特征歸一化約束加權;其次,采用改進的歸一化約束步長衰減PSO(Particl

3、e Swarm Optimization)算法對特征權值自適應優(yōu)化求解;最后,根據(jù)權值計算文本相關性、降低特征空間維度。在復旦大學等語料庫上采用十折交叉法進行的實驗結果表明,改進后的算法既提高分類器精度又降低分類時間。
　　2)通過對KNN算法分類過程的研究可知,提高算法效率的關鍵是減少相似度計算量,從而提出自適應樣本加權KNN文本分類算法。算法先使用改進的PSO算法對樣本權值自適應求解;再通過樣本權值縮減樣本數(shù)量,降低相似計算量

4、;最后在 KNN算法的判別函數(shù)中加入樣本權值,解決 KNN算法對樣本庫容量敏感問題。該算法在TanCorpMin語料庫上得到較好的效果。
　　3)為改進KNN算法在高維特征空間和大數(shù)據(jù)集上的分類性能,提出融合上述兩種改進的自適應加權KNN文本分類算法。算法首先對特征加權,降低特征空間的維度,更新特征詞庫,重新向量化樣本庫;其次,對樣本加權,約簡樣本;最后,使用加權的判別函數(shù)對文本分類。通過實驗表明融合后的算法有效降低了分類的時間復