優(yōu)化特征選擇的CTM模型在文本分類中的應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展、海量信息的出現(xiàn)，人們已經(jīng)從信息資源匱乏的年代過渡到信息資源豐富的大數(shù)據(jù)時(shí)代。如何快速、有效地從海量信息中提取所需的信息是當(dāng)今信息科學(xué)和技術(shù)領(lǐng)域面臨的一大挑戰(zhàn)，而文本分類就是解決這一問題的途徑之一。其中特征選擇和文本表示是影響文本分類的重要因素，現(xiàn)階段相關(guān)主題模型CTM(Correlated Topic Model)已作為有效的文本表示方應(yīng)法用在文本分類中，該模型能很好的表現(xiàn)出主題之間的相關(guān)性，同時(shí)在力求保證信息完整

2、性的條件下有效地降低文本數(shù)據(jù)的維度，對(duì)分類精度和速度都得到了提高。然而該模型輸入特征的選擇和最優(yōu)主題數(shù)的確定仍然是一大難題。
　　本文針對(duì)CTM模型在文本分類中的特征選擇方法，以及模型的最優(yōu)主題數(shù)確定做了一定的研究，完成了以下工作:
　　(1)分析當(dāng)前文本分類中文本表示遇到的困難以及CTM模型在文本表示中的優(yōu)點(diǎn);
　　(2)采用基于復(fù)雜度和對(duì)數(shù)似然值的方法，確定CTM模型中的最佳主題數(shù);
　　(3)采用一種基于主