基于改進(jìn)H-K聚類(lèi)算法的熱點(diǎn)話題發(fā)現(xiàn)方法.pdf

1、隨著社會(huì)網(wǎng)絡(luò)的快速發(fā)展，微博客已經(jīng)成為人們?nèi)粘Ｉ钪袦贤ń涣?、信息傳播的平臺(tái)之一。在很短的時(shí)間內(nèi)，微博平臺(tái)能產(chǎn)生海量的、信息分散的數(shù)據(jù)集，微博客用戶(hù)很難從這些海量文本信息中分辨出熱點(diǎn)話題，所以如何快速、準(zhǔn)確的從海量的微博客文本數(shù)據(jù)集中挖掘出熱點(diǎn)話題成為當(dāng)前研究的熱點(diǎn)。由于傳統(tǒng)的話題發(fā)現(xiàn)方法通常是基于特征詞匹配的，沒(méi)有考慮微博客文本潛在的語(yǔ)義，導(dǎo)致話題發(fā)現(xiàn)的質(zhì)量不高。針對(duì)微博客的特點(diǎn)，本文從語(yǔ)義的角度對(duì)微博客熱話題發(fā)現(xiàn)技術(shù)進(jìn)行了深入的研究

2、，提出一種基于改進(jìn)H-K聚類(lèi)算法的話題發(fā)現(xiàn)方法。
　　本文首先針對(duì)微博客數(shù)據(jù)集文本的時(shí)間刻度特性和話題的持續(xù)性的特點(diǎn)，對(duì)熱點(diǎn)話題發(fā)現(xiàn)方法中用到的H-K聚類(lèi)算法進(jìn)行了改進(jìn)。針對(duì)海量的微博客數(shù)據(jù)集，在微博客話題發(fā)現(xiàn)方法中，結(jié)合Hadoop中的MapReduce編程思想，將該算法進(jìn)行了并行化實(shí)現(xiàn)，以提高聚類(lèi)的處理效率。其次，本文從語(yǔ)義的層次對(duì)微博客文本進(jìn)行分析，通過(guò)引入LDA主題模型將非結(jié)構(gòu)化的微博客文本轉(zhuǎn)化為文本-主題分布和主題-文本

3、特征詞分布，以降低微博客文本的維度，并從語(yǔ)義的角度對(duì)微博客進(jìn)行建模，以提高微博客文本相似度計(jì)算的準(zhǔn)確度。同時(shí)在微博客文本建模階段，結(jié)合MapReduce并行編程思想將LDA主題模型并行化，以提高微博客數(shù)據(jù)集的處理能力。
　　實(shí)驗(yàn)表明，改進(jìn)的H-K聚類(lèi)算法的聚類(lèi)效果明顯得到提高，時(shí)間效率也得到提升，而且能更好的應(yīng)用到微博客文本的聚類(lèi)中，解決了傳統(tǒng)聚類(lèi)算法效率不高的問(wèn)題；引入云計(jì)算平臺(tái)后，提高了對(duì)海量微博客文本數(shù)據(jù)集的處理能力；本文提