基于信息論的文本分類模型與算法研究.pdf

1、 隨著網(wǎng)絡上文本信息爆炸式的增長，文本分類已成為非常重要的研究方向。為了面對時代的挑戰(zhàn)，本文針對文本分類問題進行了深入的研究，取得了一系列突破性進展。 本文在研究了現(xiàn)有分類模型的基礎上，提出了文本分類的信息論模型。該模型以信息論為基礎，將文本所提供的關于各個不同類別的信息作為分類的依據(jù)。文本分類的信息論模型從另一個的角度來思考文本分類問題，具有一定的理論價值。同時，該模型統(tǒng)一了傳統(tǒng)的樸素貝葉斯法和基于KL距離的中心向量法兩

2、種不同的分類模型，為研究統(tǒng)一的分類算法奠定了基礎。而且，該模型在各種不同的語料庫上都表現(xiàn)出了非常高的分類性能。 根據(jù)文本分類信息論模型的基本思想，以互信息最大化原則為指導，本文提出了一種新的特征選擇算法和兩種特征聚類算法。并從實驗上證實了該特征選擇算法優(yōu)于傳統(tǒng)的特征選擇算法。在保證分類準確率降低不到2％的條件下，特征聚類算法可以將文本特征空間的維數(shù)降低2～3個數(shù)量級，大大降低了文本特征的數(shù)量。 為了進一步推廣文本分類的信