基于主題模型的文本相似度計算研究與實現(xiàn).pdf

1、當前互聯(lián)網(wǎng)已經(jīng)發(fā)展到移動互聯(lián)網(wǎng)時代，不僅僅只有傳統(tǒng)的PC機可以瀏覽互聯(lián)網(wǎng)，手機、平板電腦等各種移動設備也可以接入互聯(lián)網(wǎng)，計算機的信息處理已經(jīng)進入大數(shù)據(jù)時代。而這些大數(shù)據(jù)中，很多都是以文本的形式出現(xiàn)，比如Google每天的搜索日志，Twitter以及微博每天的更新評論數(shù)據(jù)，F(xiàn)acebook以及騰訊每天用戶產(chǎn)生的新數(shù)據(jù)等，這些數(shù)據(jù)不是GB量級的，而是每天都是TB量級的數(shù)據(jù)，如何對這些浩瀚的文本進行分析挖掘以幫助企業(yè)決策或者提高產(chǎn)品的用戶體驗

2、是當前文本挖掘的主要問題。本文的主要工作在于文本的相似度計算以及文本相似度計算的相關技術，主要的研究工作在于探討一種魯棒的相似度計算方法，使其應用范圍盡可能的廣泛。首先介紹了向量空間模型及其存在的問題，然后是探討了針對這些問題的一些解決方案，主要工作如下：
　　 首先，簡要介紹了向量空間模型的基本原理以及基于向量空間模型的相似度計算方法。接著以同樣的方式簡要介紹了一下主題模型以及基于主題模型的相似度計算方法。并且詳細介紹了主題模

3、型的集合意義和代數(shù)意義，從中可以看出主要模型較之向量空間模型有更加豐富的數(shù)學和統(tǒng)計基礎。
　　 其次，簡要介紹了LSI，pLSI，LDA模型以及它們的參數(shù)估計方法。LDA方法之后主題模型才剛剛興起，本文介紹了當前針對主題模型一些研究進展情況，主要進展其中在加入新的可觀測變量，面向特點任務，以及引入語義信息者三個方面。
　　 然后本文介紹了一種基于pLSI的詞共現(xiàn)聚類算法，并在共現(xiàn)詞組的基礎上建模文本，認為文本的共現(xiàn)詞組越