基于微博文本的話題聚類研究與實(shí)現(xiàn).pdf

1、Web2.0技術(shù)的出現(xiàn)推動(dòng)了大數(shù)據(jù)時(shí)代的到來(lái)。以微博為代表的社會(huì)網(wǎng)絡(luò)新媒體的興起，在豐富了大數(shù)據(jù)的同時(shí)，也給數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)帶來(lái)了諸多挑戰(zhàn)，因?yàn)楹蛡鹘y(tǒng)的文本信息不同，微博信息涉及個(gè)人興趣、娛樂(lè)、企業(yè)營(yíng)銷、公益宣傳等多方面內(nèi)容，且內(nèi)容碎片化，數(shù)據(jù)量龐大。如何有效分析和挖掘其中的信息，成為當(dāng)前一個(gè)重要的研究課題。
　　話題聚類技術(shù)是微博研究的一項(xiàng)基礎(chǔ)工作。它將海量的微博數(shù)據(jù)自動(dòng)歸類，使話題內(nèi)容相近的微博自動(dòng)歸為一類。話題聚類結(jié)果可用

2、于深層話題分析與數(shù)據(jù)挖掘。傳統(tǒng)的基于關(guān)鍵字的處理方法可能會(huì)返回?cái)?shù)以千百計(jì)的結(jié)果，其內(nèi)容多是重復(fù)性的或關(guān)聯(lián)較小的內(nèi)容，不適合處理上述問(wèn)題。話題聚類技術(shù)可通過(guò)智能處理算法，使內(nèi)容相近的信息自動(dòng)聚在一起，便于了解該類的主要話題;通過(guò)主題詞提取，可使處理結(jié)果更加直觀。本文基于微博文本，通過(guò)采用智能處理算法，完成了如下工作:首先，獲取微搏的結(jié)構(gòu)化數(shù)據(jù)，完成對(duì)微博數(shù)據(jù)的采集以及在聚類前對(duì)數(shù)據(jù)的預(yù)處理。第二，完成了針對(duì)文本聚類的特征詞選擇，針對(duì)微博短