基于概念特征的中文文本分類研究.pdf

1、本文主要對文本自動分類中的特征抽取方法、和分類算法進行了研究和試驗，取得了一定的效果。 1)特征抽取:在特征抽取方面，使用概念作為特征代替關鍵詞作為特征。在自然語言表達過程中，同義詞、多義詞的出現(xiàn)是很頻繁的。在基于關鍵詞的文本分類中將這些詞直接作為特征，不能起到很好的分類效果。本文研究了基于概念的文本分類模型，將關鍵詞映射到概念空間，以概念作為分類的特征，加強了特征的凝聚性。并且將一個高維的關鍵特征空間降低到一個維數(shù)相對比較低的

2、概念特征空間。在從關鍵詞映射到概念的過程中，需要進行概念消歧。本文介紹的概念消歧算法借助了“知網”知識系統(tǒng)。在消歧過程中對專有名詞進行了特別的處理。 2)在權重計算方面，分析了向量空間模型中常用來計算權重的TFIDF算法，發(fā)現(xiàn)TFIDF在理論上并不完美，不能夠真正衡量特征的分類作用。本文提出了改進的算法，利用TF*η函數(shù)對特征的權重進行計算。通過實驗驗證了TF*η的確在性能上要優(yōu)于TFIDF算法。 3)在分類算法上，分別

3、采用了K近鄰(KNN)和樸素貝葉斯(NaiveBayes)算法。在采用樸素貝葉斯算法進行分類實驗時，發(fā)現(xiàn)其效果不如預料中的好。經過分析，發(fā)現(xiàn)樸素貝葉斯算法在訓練集不是很大時分類效果不好的原因。提出了兩種改進的算法。通過實驗表明，改進后樸素貝葉斯算法能取得和KNN接近的分類正確率。 4)在對理論研究的基礎上，本文實現(xiàn)了基于概念的文本分類系統(tǒng)。在系統(tǒng)的實現(xiàn)過程中，借鑒和直接利用了前人的一些成果。如: ●本系統(tǒng)采用的中文文本自