基于香農(nóng)熵和互信息的主題優(yōu)化方法的研究.pdf

1、大數(shù)據(jù)時(shí)代的到來(lái)使得信息過(guò)載的問(wèn)題日趨嚴(yán)重，研究人員一直致力于研究如何從大量數(shù)據(jù)中提取有效的信息。主題模型旨在從數(shù)據(jù)量巨大的離散文本中提取潛在的低維度的主題，能夠很好地解決信息過(guò)載的問(wèn)題。然而隨著待處理語(yǔ)料集逐漸增大，主題模型訓(xùn)練生成的主題數(shù)目也越來(lái)越多，其中包含語(yǔ)義不顯著的噪聲主題，如何有效剔除有干擾的噪聲主題這一問(wèn)題逐漸得到研究者的重視。
　　本文針對(duì)提高主題質(zhì)量的問(wèn)題，研究主題的優(yōu)化方法以及一系列主題調(diào)優(yōu)策略，將特征選擇方法

2、中的香農(nóng)熵與互信息理論應(yīng)用到文本語(yǔ)料的層面，用來(lái)衡量主題詞的質(zhì)量，剔除主題中不具備顯著含義的背景詞，同時(shí)對(duì)生成的主題進(jìn)行分析研究，實(shí)現(xiàn)主題調(diào)優(yōu)。文章主要從以下兩個(gè)環(huán)節(jié)展開(kāi)工作:
　　主題詞層面的優(yōu)化。主題中詞的優(yōu)劣直接影響主題的可解讀性，剔除主題中的背景詞可保證主題的質(zhì)量進(jìn)而利于下游訓(xùn)練。本文基于已有標(biāo)簽文本集，采用香農(nóng)熵和互信息方法作用于語(yǔ)料庫(kù)，通過(guò)統(tǒng)計(jì)詞的信息特征來(lái)剔除背景詞，并應(yīng)用于分類任務(wù)。
　　主題層面的優(yōu)化。剔除

3、某些不含顯著語(yǔ)義的噪聲主題以提高主題的質(zhì)量。在優(yōu)化主題詞的基礎(chǔ)上，本文針對(duì)主題模型訓(xùn)練生成的主題，利用香農(nóng)熵和互信息的思想，考查文檔的主題特征以及主題和類別的關(guān)系，衡量主題優(yōu)劣，以此甄別噪聲主題，并將調(diào)優(yōu)后的主題應(yīng)用于文本分類任務(wù)。
　　本文應(yīng)用香農(nóng)熵和互信息分別對(duì)主題中噪聲詞匯和噪聲主題進(jìn)行剔除工作，在最大程度上保留主題的語(yǔ)義特征的同時(shí)完成對(duì)主題詞空間和主題空間的雙重優(yōu)化，并通過(guò)文本分類實(shí)驗(yàn)，對(duì)優(yōu)化之后的主題模型的質(zhì)量進(jìn)行了驗(yàn)證