微博客話題檢測的研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展,越來越多的人利用互聯(lián)網(wǎng)來發(fā)布和獲取信息,互聯(lián)網(wǎng)變成了人們生活中不可缺少的一部分?；ヂ?lián)網(wǎng)信息的增加,使得獲取和管理這些信息變得越來越困難了,導(dǎo)致信息超載。為了更好的獲取和管理信息,人們提出了話題檢測相關(guān)技術(shù),其主要目的是研究在多媒體和跨語言信息流中自動(dòng)檢測出新話題的方法。而由于微博具有原創(chuàng)性、時(shí)效性、隨意性,這使得傳統(tǒng)的話題檢測算法在微博話題討論下處理效果并不理想。
　　Latent Dirichlet Allo

2、cation(LDA)作為一種非監(jiān)督的話題模型,在微博環(huán)境下,由于微博的時(shí)效性和突發(fā)性,LDA需要預(yù)先確定話題個(gè)數(shù)的缺點(diǎn)使得該模型在微博下難以適用。這一點(diǎn)使得 LDA模型難以擬合微博的真實(shí)話題分布。另一方面,基于層次的聚類算法不需要事先確定類別個(gè)數(shù),以及互信息作為一種文本特征選取方法具有良好的區(qū)分度。因此,在本論文中,我們提出了一種LDA模型與層次聚類算法相結(jié)合的話題檢測算法。該算法解決了LDA模型需要預(yù)先設(shè)定熱點(diǎn)話題個(gè)數(shù)的缺點(diǎn),能動(dòng)態(tài)