基于頻繁詞集詞共現(xiàn)網(wǎng)絡(luò)的短文本聚類方法.pdf

1、Web2.0的誕生和發(fā)展使互聯(lián)網(wǎng)上的內(nèi)容發(fā)生了巨大的變化。在Web1.0時代，互聯(lián)網(wǎng)以靜態(tài)網(wǎng)頁為主，靜態(tài)網(wǎng)頁中的內(nèi)容大都是長的、規(guī)范性的文本。到了Web2.0時代，動態(tài)網(wǎng)頁技術(shù)高速發(fā)展，互聯(lián)網(wǎng)上產(chǎn)生了微博、問答社區(qū)、論壇、以及即時通信軟件等一大批應(yīng)用。在這些應(yīng)用平臺上內(nèi)容大都是以短文本為主，短文本具有簡單、碎片化的特點。與長文本相比，這類短小、精悍的文本更容易在互聯(lián)網(wǎng)上傳播，因為它易于編輯、方便閱讀，更加適合當今社會快節(jié)奏的生活。隨著互

2、聯(lián)網(wǎng)上短文本數(shù)量的急劇增長，如何從這些海量的短文本中挖掘出有用的信息成為了一個熱門的研究領(lǐng)域。
　　文本挖掘技術(shù)是數(shù)據(jù)挖掘和機器學(xué)習(xí)的傳統(tǒng)研究領(lǐng)域之一，經(jīng)過多年的研究和發(fā)展已經(jīng)積累了一大批優(yōu)秀的理論和成果。但傳統(tǒng)的文本挖掘方法都以長文本為處理對象，短文本和長文本相比存在嚴重的數(shù)據(jù)稀疏問題。并且短文本大都存在用詞和語法不規(guī)范的問題，例如:微博平臺上的短文本使用了大量的網(wǎng)絡(luò)用語，而且拼寫錯誤和錯別字比較明顯。這使得已有的、成熟的長文本

3、處理技巧和方法，在短文本上表現(xiàn)的差強人意。短文本挖掘需要根據(jù)短文本自身的特點，設(shè)計適合短文本自身特性的挖掘方法。
　　針對短文本的數(shù)據(jù)稀疏和用語不規(guī)范的特點，本文提出了一種基于頻繁詞集共現(xiàn)網(wǎng)絡(luò)的短文本聚類算法。該方法首先挖掘語料中存在的詞的K頻繁項集(K＞=3)，然后，基于挖掘出的頻繁詞集構(gòu)建頻繁詞共現(xiàn)網(wǎng)絡(luò)FWN(Frequent Wordsco-occurrence Network，如果兩個詞同時處于同一個頻繁詞集內(nèi)則認為這兩個

4、詞之間存在一條邊）。由于在FWN網(wǎng)絡(luò)中，話題以社區(qū)的形式存在，即同一個話題的特征詞緊密聯(lián)系，形成一個話題社區(qū)（一個話題社區(qū)可以看做是一個話題的特征詞的集合），我們在構(gòu)建好的FWN網(wǎng)絡(luò)上使用復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法識別FWN網(wǎng)絡(luò)中的話題社區(qū)。最后我們以話題的特征詞作為話題的類原型，使用基于最大相似性指派的單遍聚類算法實現(xiàn)對短文本的快速聚類。在微博短文本數(shù)據(jù)集上的實驗結(jié)果顯示，我們給出的方法可以快速地找到微博短文本中的熱點話題，并且不需要事先指