監(jiān)督學(xué)習(xí)的話題模型.pdf

1、話題模型(Topic model)是目前流行的一種圖模型(Graph model)的.其嚴(yán)格遵守貝葉斯概率框架,是一種完全的貝葉斯模型。話題模型作為一種產(chǎn)生式模型,具有非監(jiān)督學(xué)習(xí),能夠利用大量的現(xiàn)有的互聯(lián)網(wǎng)數(shù)據(jù),學(xué)出的話題易于人類理解,能夠發(fā)現(xiàn)文檔集中隱含的語義的特點(diǎn)。是一種良好的聚類和降維工具。然而對(duì)于將話題模型應(yīng)用分類問題,由于其非監(jiān)督的特點(diǎn),其學(xué)出來的話題并不一定有利于分類的進(jìn)行,為此如何有效的加入監(jiān)督信息也成為了研究熱點(diǎn)。本研究

2、旨在探索更多加入監(jiān)督信息的方式。在本文之中,我們首先提出了一種用于多類分類的有監(jiān)督學(xué)習(xí)的上游話題模型,其能夠同時(shí)進(jìn)行文檔建模和分類。較之現(xiàn)有的有監(jiān)督學(xué)習(xí)的話題模型,這個(gè)模型具有三個(gè)優(yōu)勢(shì):1)類別是顯示的作為關(guān)于話題的分布來建模的,其相當(dāng)于為每個(gè)文檔添加了一個(gè)非常強(qiáng)烈的先驗(yàn)分布,2)每個(gè)文檔都明確的分解成對(duì)于類別而言的三種不同的組分,3)關(guān)于文檔類標(biāo)的推理是非常稀疏的,而這種稀疏性對(duì)于文檔分類而言正是必須的。我們并將其應(yīng)用與文本與圖像分類

3、。在隨后的章節(jié)中,我們針對(duì)上游模型無法有效利用類間信息的缺點(diǎn),提出一個(gè)將產(chǎn)生概率和監(jiān)督學(xué)習(xí)信息聯(lián)合起來的叫做LogisticLDA的模型,其用符合原則的方式從數(shù)學(xué)上將一個(gè)產(chǎn)生式模型和一個(gè)判別模型集成起來。通過使用logistic normal分布來最大化關(guān)于文檔類標(biāo)的后驗(yàn)概率,我們的模型有效的將監(jiān)督學(xué)習(xí)信息集成進(jìn)來以最大化話題空間的類間距離,同時(shí)仍舊享受文檔之間可交換性所帶來推理的容易性。在三個(gè)測驗(yàn)樣例數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,我們的模型