基于簇特征的文本增量聚類研究.pdf

1、目前,隨著網(wǎng)絡(luò)技術(shù)與計算機技術(shù)的日益發(fā)展,互聯(lián)網(wǎng)已經(jīng)成為當(dāng)前人們獲取信息的主要來源之一。面對著互聯(lián)網(wǎng)上信息日益持續(xù)地增長,僅僅使用傳統(tǒng)方法想要從大規(guī)模的數(shù)據(jù)中獲取自身確切需要的信息已變得越來越難。因此,如何有效的組織和管理這些信息成為當(dāng)前急需解決的問題,而文本聚類分析正是一種有效的組織和管理文本信息的工具,它能發(fā)現(xiàn)大規(guī)模數(shù)據(jù)中潛在的有用模式。
　　然而,對大規(guī)模文本數(shù)據(jù)進(jìn)行聚類時,傳統(tǒng)聚類算法的時間復(fù)雜度很高;且當(dāng)數(shù)據(jù)出現(xiàn)更新時,

2、必須對整個數(shù)據(jù)集進(jìn)行重新聚類,這也大大地降低了聚類的效率。針對這些問題,人們非常期望進(jìn)行增量更新,而增量聚類算法就是在已有聚類結(jié)果的基礎(chǔ)之上,通過對新增數(shù)據(jù)逐個或者批量進(jìn)行處理,能夠降低聚類時間復(fù)雜度,提高聚類效率,但如何保證增量聚類算法能達(dá)到傳統(tǒng)聚類算法的效果是一個值得研究的問題。
　　本文提出了一種基于簇特征的文本增量聚類算法,該算法由初始聚類和增量聚類兩個階段組成。在初始聚類階段,本文首先充分利用簡單、高效的k-means算

3、法進(jìn)行聚類,并保留聚類后每個簇的簇中心、均值、方差、文檔數(shù)、3階中心矩和4階中心矩作為該簇的簇特征;當(dāng)出現(xiàn)新增文本時,算法進(jìn)入增量聚類階段,首先計算新增文本與初始聚類階段所得簇之間的得分,為進(jìn)一步提高聚類的準(zhǔn)確度,本文使用文本與簇的相似度值結(jié)合歐幾里得距離值的方式計算新增文本與已有簇之間的得分,之后將該文本放入得分最高的簇中,并更新該簇的簇特征,最后利用更新前后簇特征的變化確定文本最終所屬簇。通過該方法,我們就無需再對整個數(shù)據(jù)集重新進(jìn)行

4、聚類。
　　本文的工作主要包括以下兩點:
　　1、提出了基于簇特征的文本增量聚類算法,并將該算法與文本非增量聚類算法(即傳統(tǒng)聚類算法)的結(jié)果進(jìn)行了比較。在20newsgroups數(shù)據(jù)集上的實驗結(jié)果表明,相比于對整個數(shù)據(jù)集進(jìn)行重新聚類,本文提出的算法有更高的純度及更低的時間復(fù)雜度,并能達(dá)到比傳統(tǒng)聚類算法更好的效果;且將其與新近提出的文本增量聚類算法進(jìn)行比較的結(jié)果也說明其具有一定的優(yōu)勢。
　　2、使用將相似度與歐式距離值相