基于信息論的文本分類(lèi)模型與算法研究.pdf

1、 隨著網(wǎng)絡(luò)上文本信息爆炸式的增長(zhǎng)，文本分類(lèi)已成為非常重要的研究方向。為了面對(duì)時(shí)代的挑戰(zhàn)，本文針對(duì)文本分類(lèi)問(wèn)題進(jìn)行了深入的研究，取得了一系列突破性進(jìn)展。 本文在研究了現(xiàn)有分類(lèi)模型的基礎(chǔ)上，提出了文本分類(lèi)的信息論模型。該模型以信息論為基礎(chǔ)，將文本所提供的關(guān)于各個(gè)不同類(lèi)別的信息作為分類(lèi)的依據(jù)。文本分類(lèi)的信息論模型從另一個(gè)的角度來(lái)思考文本分類(lèi)問(wèn)題，具有一定的理論價(jià)值。同時(shí)，該模型統(tǒng)一了傳統(tǒng)的樸素貝葉斯法和基于KL距離的中心向量法兩

2、種不同的分類(lèi)模型，為研究統(tǒng)一的分類(lèi)算法奠定了基礎(chǔ)。而且，該模型在各種不同的語(yǔ)料庫(kù)上都表現(xiàn)出了非常高的分類(lèi)性能。 根據(jù)文本分類(lèi)信息論模型的基本思想，以互信息最大化原則為指導(dǎo)，本文提出了一種新的特征選擇算法和兩種特征聚類(lèi)算法。并從實(shí)驗(yàn)上證實(shí)了該特征選擇算法優(yōu)于傳統(tǒng)的特征選擇算法。在保證分類(lèi)準(zhǔn)確率降低不到2％的條件下，特征聚類(lèi)算法可以將文本特征空間的維數(shù)降低2～3個(gè)數(shù)量級(jí)，大大降低了文本特征的數(shù)量。 為了進(jìn)一步推廣文本分類(lèi)的信