概率主題模型及其在關聯(lián)文本分類中的應用研究.pdf

1、隨著互聯(lián)網技術的快速發(fā)展,網絡上以文本形式存在的信息迅速增加,如何有效地組織和管理這些文本信息是當前信息科學領域面臨的一個重要挑戰(zhàn)。文本分類可以解決大量文本信息的歸類問題,是組織和管理海量文本信息的有效手段。同時,由于主題模型可以捕獲到文檔集合的語義結構信息,將主題模型應用于文本分類是提高分類器性能的有效途徑之一。
　　 目前,基于LDA的監(jiān)督主題模型sLDA以及傳統(tǒng)的文本分類算法假設文檔之間相互獨立。然而,在實際情況中,文檔之

2、間可以存在關聯(lián)關系,比如,從科技文獻數據庫(C-DBLP,DBLP等)中抽取出的文檔可以根據文獻之間的引用關系形成文檔網絡;網頁可以根據超鏈接進行關聯(lián)。當關聯(lián)關系對文檔屬性的判斷有重要影響并且文檔包含的文本信息較少時,監(jiān)督主題模型以及傳統(tǒng)的文本分類方法(SVM、樸素貝葉斯等)的性能會有所下降。
　　 iTopicModel通過多變量馬爾可夫隨機場建模文檔網絡結構,將文檔間的關聯(lián)關系及文本信息進行統(tǒng)一建模,并且iTopicMode

3、l可以處理既有權重又有方向的文本信息網絡。本文中,我們基于iTopicModel提出了一個新穎的概率主題模型(SRTM),將文檔間的關聯(lián)關系、文檔的文本信息、文檔的標號進行統(tǒng)一建模。首先用古典線性回歸模型對文檔標號進行建模,給出SRTM的聯(lián)合概率分布,通過EM算法最大化聯(lián)合概率分布的對數似然對SRTM的參數進行估計,然后給出對訓練數據以外文檔的標號進行預測的方法。最后我們用廣義線性模型對文檔標號進行建模,對SRTM進行擴展,使SRTM可

4、以處理多種類型的文檔標號。Cora研究論文分類數據集和電影評論數據集上的實驗表明,在文檔網絡中,SRTM的預測結果要優(yōu)于現(xiàn)有的監(jiān)督主題模型。
　　 我們還將iTopicModel應用到文本分類任務中,基于iTopicModel提出了文本分類算法TC-iTM,該算法根據類信息已知的文檔歸屬于各個主題的概率判斷主題代表的類信息,根據待分類文檔歸屬于各個主題的概率及文本信息對文檔進行分類。在Cora研究論文分類數據集和DBLP數據集上