基于非對稱先驗(yàn)的作者主題模型.pdf

1、本文提出了一個(gè)能同時(shí)分析文檔主題和作者興趣的概率圖模型(AALDA)。互聯(lián)網(wǎng)技術(shù)的發(fā)展給文本分析提出了很大的挑戰(zhàn)。在搜索引擎優(yōu)化，圖書館文本索引上，如何去處理海量的文本數(shù)據(jù)是學(xué)術(shù)研究熱點(diǎn)之一。生成式模型(Generative Models)是分析文檔內(nèi)容的主流工具，它不僅可以提取大文本數(shù)據(jù)的結(jié)構(gòu)信息，而且可以推測出新的文檔的主題概率分布。其中以潛在狄利克雷分配(Latent Dirichlet Allocation)為代表的主題模型(T

2、opic Models)利用多層次貝葉斯模型把文檔表示成多個(gè)主題的概率混合。引入隱藏隨機(jī)變量簡化了原始似然函數(shù)。通過期望-最大似然估計(jì)(Eepectation-Maximization)算法，首先在期望步驟估計(jì)出隱藏隨機(jī)變量的后驗(yàn)概率。在最大化似然函數(shù)的步驟中，估計(jì)出模型中重要的參數(shù)。其中包括主題在所有單詞表上的概率分布，文檔的主題混合概率。
　　 本文中主要推導(dǎo)了LDA模型中如何在期望估計(jì)步驟中用Gibbs采樣(GibbsSa

3、mpling)來估計(jì)隱含隨機(jī)變量的后驗(yàn)概率。然后介紹了基于非對稱先驗(yàn)的LDA。經(jīng)過對中間文檔主題隨機(jī)變量的積分，它與詞語主題選擇隨機(jī)變量z構(gòu)成了波利亞分布(Polya Distribution)。這個(gè)分布于波利亞罐模型相對應(yīng)，在原本確定主題個(gè)數(shù)的情況下，使得單詞的主題選擇隨機(jī)變量有聚類的效應(yīng)。新的模型把原始LDA中先驗(yàn)的均勻分布作為一個(gè)不確定的參數(shù)，并用極大似然來估計(jì)。為了快速優(yōu)化波利亞分布的參數(shù)，避免二次Gibbs采樣造成迭代次數(shù)的平

4、方倍數(shù)的增長，本文使用了Minka的不動點(diǎn)優(yōu)化算法。
　　 最后本文提出了如何使用非對稱先驗(yàn)來同時(shí)分析文檔的主題和作者主題興趣的模型AALDA。在這個(gè)模型中，每個(gè)作者都被賦予了一個(gè)非對稱先驗(yàn)，用來捕捉文檔中作者對單詞的偏好，以此來反映出作者的哪些主題感興趣。該模型在NeuralInformation Process Systems會議(NIPS)90年代論文數(shù)據(jù)上取得了良好的效果。從結(jié)果來看，模型分析出了當(dāng)時(shí)NIPS會議上有哪些