基于向量空間模型和LDA模型相結(jié)合的微博客話題發(fā)現(xiàn)算法研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和廣泛普及，網(wǎng)絡(luò)信息的傳播速度與數(shù)量都達(dá)到了空前的規(guī)模。微博客作為一種新興的網(wǎng)絡(luò)媒體，憑著極高的網(wǎng)民普及率，已經(jīng)成為互聯(lián)網(wǎng)上的主要信息源之一。由于微博客內(nèi)容簡單(一般少于140個(gè)字)且可以通過各種通訊手段(手機(jī)、QQ等)實(shí)時(shí)發(fā)布，容易在短時(shí)間內(nèi)產(chǎn)生大量數(shù)據(jù)。在面對數(shù)量如此巨大且雜亂無序的微博客信息時(shí)，若采用人工手段去處理它，工作量巨大而且難以及時(shí)而準(zhǔn)確的找到自己最關(guān)心的信息。
　　話題發(fā)現(xiàn)技術(shù)能夠?qū)?/p>

2、屬于同一話題下的分散的信息歸并，大大的減少了信息的重復(fù)率，便于用戶從全局上了解話題中各個(gè)方面之間的關(guān)系以及話題之間的相互聯(lián)系，幫助用戶在海量信息中快速的找到自己最需要的信息?；趥鹘y(tǒng)向量空間模型上話題檢測算法雖得到了廣泛的應(yīng)用，且取得了不錯(cuò)的效果，但在處理大規(guī)模的微博客短文本時(shí)仍存在著明顯的不足：一是降維能力的不足，過高維度的向量會(huì)導(dǎo)致文本相似度計(jì)算產(chǎn)生誤差，影響話題發(fā)現(xiàn)精度；二是語義信息的丟失，傳統(tǒng)向量空間模型中，文檔中單詞對應(yīng)特征項(xiàng)

3、，特征項(xiàng)的權(quán)重對應(yīng)特征向量，文檔的相似度取決于特征向量之間的距離，很顯然文檔之間重復(fù)的詞語越多越可能相似，然而兩篇文檔是否相關(guān)往往不只決定于字面上的詞語重復(fù)，還取決于文字背后的語義關(guān)聯(lián)。
　　在上述基礎(chǔ)上，本文借鑒傳統(tǒng)話題發(fā)現(xiàn)方法，針對微博客本身的特點(diǎn)，利用LatentDirichlet Allocation(LDA)這種能夠提取文本隱含主題的產(chǎn)生式模型，對微博客文本進(jìn)行隱主題提取，通過吉布斯采樣算法得到文本在隱主題空間上的向量分