主題優(yōu)化過濾方法研究與應(yīng)用.pdf

1、在文本挖掘領(lǐng)域，主題模型受到越來越高的關(guān)注。生成的主題作為數(shù)據(jù)的隱含表述，獲得了富含語義且低維的特征。但是現(xiàn)階段主題模型構(gòu)建方法所生成主題的質(zhì)量卻不盡如人意，因此如何提升主題質(zhì)量這一問題得到了許多研究者的關(guān)注。
　　本文針對主題質(zhì)量這一問題，提出了一系列對主題進行過濾優(yōu)化的方法，包括:在語料庫預(yù)處理中引入詞性分析這一概念，只保留文檔中有用的名詞和動詞，利用主題語義一致性評價主題質(zhì)量并設(shè)定閾值，對噪聲主題進行過濾;針對主題中的詞匯進

2、行主題詞判定，對主題中的噪聲詞匯進行過濾。通過文本分類來驗證所提方法的有效性。文章主要工作包括以下兩個方面:
　　主題的過濾方法。要想得到較好的主題過濾效果，就需要一個精確的主題質(zhì)量評價指標。傳統(tǒng)的主題一致性只是根據(jù)當前語料庫來對主題質(zhì)量進行判定，沒有利用外部語料庫來對其進行語義調(diào)整。本文利用一個外部語料庫(Wikipedia2014)生成詞向量，根據(jù)詞向量來計算兩個單詞的語義相似度，再與主題一致性中的同文檔詞頻矩陣相結(jié)合，實現(xiàn)外

3、部語料庫對主題一致性的指導(dǎo)作用，從而更加精確地對主題質(zhì)量進行評價，再通過設(shè)定閾值來過濾噪聲主題，以提高主題模型的質(zhì)量。
　　主題的優(yōu)化方法。本文利用主題詞判定方法來對主題進行優(yōu)化，認定在當前語料庫中頻繁出現(xiàn)而在一般英語中不常出現(xiàn)的詞匯是主題詞。排除非主題詞，可減少噪聲詞匯的影響。此外，還利用WordNet這一語義層級結(jié)構(gòu)詞典來計算單詞間的關(guān)聯(lián)度，進而確定主題中的詞匯是否在語義層次方面有關(guān)聯(lián)，以對主題進行二次優(yōu)化，提高文本分類效果。