基于特征、先驗(yàn)和約束的主題建模算法.pdf

1、潛在狄利克雷分配(Latent Dirichlet Allocation,LDA)是一種用來分析大規(guī)模文檔的概率主題模型,它從文檔的單詞表示中抽取出語義相關(guān)的主題集合,將文檔從單詞空間變換到主題空間,得到文檔在低維主題空間中的表達(dá)。然而LDA的使用者往往會(huì)遇到兩個(gè)問題:一是公用詞和停用詞幾乎占據(jù)了所有的主題,LDA的主題分布向高頻詞傾斜,能夠代表主題的關(guān)鍵詞被少量的高頻詞掩蓋,從而導(dǎo)致較差的主題可解釋性;二是如何改善基于主題特征的低維空

2、間表示,以提高檢索、聚類和分類準(zhǔn)確率。針對(duì)這兩個(gè)問題,我們從連續(xù)特征、非對(duì)稱先驗(yàn)和稀疏約束這三個(gè)方面對(duì)LDA進(jìn)行分析。
　　LDA使用離散的詞頻特征作為輸入,假設(shè)語料庫中單詞的重要程度只與詞頻相關(guān)。連續(xù)特征考慮不同位置單詞的區(qū)別,并給予在部分文檔中出現(xiàn)頻率高而在語料庫的其它文檔中出現(xiàn)頻率低的單詞一個(gè)較高的值,而給予在整個(gè)語料庫所有文檔中出現(xiàn)頻率都很高的單詞一個(gè)較低的值。停用詞和公用詞的特征值得到降低,使得主題分布中這些詞的概率值變

3、小,得到連貫的主題表示。因?yàn)楣迷~對(duì)LDA參數(shù)推理和估計(jì)也有一部分貢獻(xiàn),所以連續(xù)特征對(duì)改善主題空間低維表示的效果并不是十分顯著。
　　LDA的先驗(yàn)通常啟發(fā)性地設(shè)定為對(duì)稱的固定值,然而,利用每次迭代得到的主題信息去估計(jì)先驗(yàn)將會(huì)更加接近于真實(shí)值。對(duì)稱先驗(yàn)使公用詞和停用詞以相同的可能性分配給所有的主題,而非對(duì)稱先驗(yàn)會(huì)使停用詞以較大的可能性分配給有較高先驗(yàn)的主題,讓停用詞集中出現(xiàn)在少數(shù)幾個(gè)主題中。在模型的訓(xùn)練過程中,通過對(duì)先驗(yàn)的學(xué)習(xí),提高

4、了模型的后驗(yàn)概率,使主題特征的低維空間表示更加精確。
　　通常越稀疏的信息就能越清晰的反映出它所表示的意義,停用詞和公用詞往往出現(xiàn)在多個(gè)主題中,它們的主題表示有較低的稀疏度,而一些反映主題意義的關(guān)鍵詞的主題表示則有較高的稀疏度。在模型參數(shù)估計(jì)和推理的過程中增加稀疏限定,去鼓勵(lì)那些有較高主題稀疏度的單詞,懲罰有較低主題稀疏度的單詞。從而解決LDA中停用詞和公用詞的問題,并改善主題特征的低維空間表示。
　　本文在LDA模型的基礎(chǔ)