基于概念特征的中文文本分類(lèi)研究.pdf

1、本文主要對(duì)文本自動(dòng)分類(lèi)中的特征抽取方法、和分類(lèi)算法進(jìn)行了研究和試驗(yàn)，取得了一定的效果。 1)特征抽取:在特征抽取方面，使用概念作為特征代替關(guān)鍵詞作為特征。在自然語(yǔ)言表達(dá)過(guò)程中，同義詞、多義詞的出現(xiàn)是很頻繁的。在基于關(guān)鍵詞的文本分類(lèi)中將這些詞直接作為特征，不能起到很好的分類(lèi)效果。本文研究了基于概念的文本分類(lèi)模型，將關(guān)鍵詞映射到概念空間，以概念作為分類(lèi)的特征，加強(qiáng)了特征的凝聚性。并且將一個(gè)高維的關(guān)鍵特征空間降低到一個(gè)維數(shù)相對(duì)比較低的

2、概念特征空間。在從關(guān)鍵詞映射到概念的過(guò)程中，需要進(jìn)行概念消歧。本文介紹的概念消歧算法借助了“知網(wǎng)”知識(shí)系統(tǒng)。在消歧過(guò)程中對(duì)專(zhuān)有名詞進(jìn)行了特別的處理。 2)在權(quán)重計(jì)算方面，分析了向量空間模型中常用來(lái)計(jì)算權(quán)重的TFIDF算法，發(fā)現(xiàn)TFIDF在理論上并不完美，不能夠真正衡量特征的分類(lèi)作用。本文提出了改進(jìn)的算法，利用TF*η函數(shù)對(duì)特征的權(quán)重進(jìn)行計(jì)算。通過(guò)實(shí)驗(yàn)驗(yàn)證了TF*η的確在性能上要優(yōu)于TFIDF算法。 3)在分類(lèi)算法上，分別

3、采用了K近鄰(KNN)和樸素貝葉斯(NaiveBayes)算法。在采用樸素貝葉斯算法進(jìn)行分類(lèi)實(shí)驗(yàn)時(shí)，發(fā)現(xiàn)其效果不如預(yù)料中的好。經(jīng)過(guò)分析，發(fā)現(xiàn)樸素貝葉斯算法在訓(xùn)練集不是很大時(shí)分類(lèi)效果不好的原因。提出了兩種改進(jìn)的算法。通過(guò)實(shí)驗(yàn)表明，改進(jìn)后樸素貝葉斯算法能取得和KNN接近的分類(lèi)正確率。 4)在對(duì)理論研究的基礎(chǔ)上，本文實(shí)現(xiàn)了基于概念的文本分類(lèi)系統(tǒng)。在系統(tǒng)的實(shí)現(xiàn)過(guò)程中，借鑒和直接利用了前人的一些成果。如: ●本系統(tǒng)采用的中文文本自