面向文本的協(xié)同聚類集成研究.pdf

1、聚類技術(shù)是數(shù)據(jù)挖掘中一個(gè)非常重要的技術(shù)方法，被廣泛應(yīng)用于多個(gè)研究領(lǐng)域。隨著網(wǎng)絡(luò)的逐漸普及和發(fā)展，文本數(shù)據(jù)成爆炸似增長(zhǎng)，聚類被大量應(yīng)用于文本數(shù)據(jù)集聚類，使在同一個(gè)文本簇中的文本相似度大，而在不同文本簇中的文本相似度小。文本聚類是一個(gè)無(wú)監(jiān)督的聚類過(guò)程。協(xié)同聚類是在文本聚類上作了一些改進(jìn)，在聚類過(guò)程中將文本屬性和特征詞屬性同時(shí)進(jìn)行聚類，提高了傳統(tǒng)文本聚類的性能。由于單一聚類或協(xié)同聚類的性能不太穩(wěn)定，難以表示出數(shù)據(jù)集的分布結(jié)構(gòu)。為了提高算法的穩(wěn)

2、定性，學(xué)者們又提出了聚類集成的概念。得到多個(gè)具有差異性的基聚類結(jié)果，使用一個(gè)共識(shí)函數(shù)對(duì)基聚類結(jié)果進(jìn)行集成，最后得到穩(wěn)定的聚類結(jié)果。
　　協(xié)同文本聚類是將文本屬性和特征詞屬性同時(shí)或交替進(jìn)行聚類，充分考慮到了文本間、特征詞間、文本與特征詞間的相似性。因?yàn)槲谋緮?shù)據(jù)結(jié)構(gòu)的特殊性（非結(jié)構(gòu)或半結(jié)構(gòu)），在文本預(yù)處理時(shí)必須對(duì)文本進(jìn)行表示。傳統(tǒng)的向量空間模型是基于特征詞獨(dú)立性這一假設(shè)前提的，但實(shí)際上特征詞間存在著某種相似性。本文采用雙詞的向量空間模

3、型對(duì)文本進(jìn)行表示，保留在文本中出現(xiàn)頻率高的雙詞。雙詞向量空間模型不僅保留了傳統(tǒng)向量空間模型的全部信息，而且還多增加了一些能表示文本主題的信息。實(shí)驗(yàn)證明采用雙詞模型的協(xié)同文本聚類效果明顯好于傳統(tǒng)模型的協(xié)同文本聚類。
　　由于雙詞向量空間模型的高維和稀疏性，在協(xié)同聚類之前必須對(duì)特征詞維數(shù)進(jìn)行約減。方差波動(dòng)描述了一個(gè)特征向量對(duì)文本聚類的貢獻(xiàn)程度，忽略了特征向量間的相似性。相關(guān)系數(shù)既表示了一個(gè)特征向量對(duì)文本聚類的貢獻(xiàn)程度，又描述了兩兩特征

4、向量間的相似性;同時(shí)矩陣分塊的方法也大大減少了算法的運(yùn)行時(shí)間。在協(xié)同聚類的調(diào)整算法中，文本聚類結(jié)果與特征詞聚類結(jié)果一一對(duì)應(yīng)，有利于文本主題的發(fā)現(xiàn)。
　　對(duì)文本進(jìn)行單一的協(xié)同聚類得到的聚類性能不太穩(wěn)定，本文在協(xié)同文本聚類后又進(jìn)行了集成?；陔x差平方和的數(shù)據(jù)片段集成方法是在基聚類結(jié)果上得到多個(gè)文本數(shù)據(jù)片段（數(shù)據(jù)片段個(gè)數(shù)遠(yuǎn)遠(yuǎn)小于原數(shù)據(jù)點(diǎn)數(shù)），在數(shù)據(jù)片段上采用一個(gè)共識(shí)函數(shù)進(jìn)行集成，得到最后的聚類結(jié)果。實(shí)驗(yàn)結(jié)果表明，協(xié)同文本聚類集成方法提高