結(jié)合概率潛在語義分析的文本譜聚類研究.pdf

1、聚類分析是當(dāng)前數(shù)據(jù)挖掘領(lǐng)域中一個研究熱點，已經(jīng)被廣泛應(yīng)用于搜索引擎、科學(xué)數(shù)據(jù)探測、信息過濾、Web分析、圖像處理等領(lǐng)域。譜聚類算法作為一種新穎的聚類分析算法，與傳統(tǒng)的聚類方法相比，該方法不僅可以處理復(fù)雜的數(shù)據(jù)類型，將聚類問題轉(zhuǎn)換為代數(shù)問題進(jìn)行求解；而且它簡單易實現(xiàn)，可以在任意形狀簇的樣本空間上進(jìn)行聚類，具有辨別非凸組合的能力并能在全局上獲取最優(yōu)解。
　　 然而，譜聚類算法也存在一些不足。譜聚類中的相似矩陣一般建立在向量空間模型之

2、上，該模型忽略了詞的同義、多義的問題，造成了信息的大量冗余；此外，譜聚類對高斯函數(shù)中的尺度參數(shù)十分敏感，使得譜聚類的性能很不穩(wěn)定。
　　 為了解決上述問題，本文首先用概率潛在語義分析方法提取潛藏語義信息，以彌補(bǔ)向量空間模型中缺乏語義信息描述的缺陷；然后，利用夾角余弦計算相似度的方法構(gòu)造相似矩陣，以消除尺度參數(shù)對譜聚類的影響。最后，將改進(jìn)后的方法運用到文本譜聚類上。在此過程中，本文主要研究工作如下：
　　 ①分析了當(dāng)前向量

3、空間模型中存在的不足：一是該模型忽略了詞語之間存在的多義性和同義性的問題，造成了特征冗余；二是由于文本特征項的高維性，在對文本數(shù)據(jù)的處理時就需要消耗大量時間；針對這些問題，提出結(jié)合概率潛在語義分析的譜聚類算法。
　　 ②研究了譜聚類算法的有關(guān)背景理論知識和方法，并總結(jié)了譜聚類算法的一般處理過程，深入分析了譜聚類中相似矩陣的構(gòu)造問題。
　　 ③傳統(tǒng)譜聚類算法中相似度的計算采用的是高斯函數(shù)，該方法需要根據(jù)經(jīng)驗人為初始化尺度參

4、數(shù)，使得該函數(shù)具有一定的局限性，影響譜聚類的性能。本文沒有專門研究對尺度參數(shù)的優(yōu)化，而是用夾角余弦方法計算文本之間的相似度，來避免尺度參數(shù)人為選擇引起的不足，提高譜聚類的性能。
　　 最后，在重新構(gòu)造的相似矩陣上進(jìn)行文本譜聚類，并進(jìn)行實驗分析，采用聚類準(zhǔn)確度和互信息指標(biāo)評價實驗結(jié)果，在該評價指標(biāo)上，本文提出的在語義空間上采用夾角余弦計算文本之間相似度的方法相比于原來的方法，得到的譜聚類效果更好、性能更穩(wěn)定。結(jié)果表明本文提出的改進(jìn)