半定嵌入文本聚類算法的研究.pdf

1、文本是信息檢索領(lǐng)域中數(shù)據(jù)的基本表示形式。如何從大量文本數(shù)據(jù)中分析和提取出有用信息,業(yè)已成為數(shù)據(jù)挖掘一個日益流行而且重要的研究課題。文本數(shù)據(jù)用向量空間模型表示時,由此構(gòu)造出的文本空間通常具有高維性。在高維空間中,隨著維數(shù)的增加,數(shù)據(jù)變得越來越稀疏,造成點與點之間的距離度量失去意義,從而降低了數(shù)據(jù)簇在高維空間的存在機(jī)率,使聚類算法效率下降。因此,針對高維文本數(shù)據(jù)提出有效的聚類算法具有實際意義。
　　 本文著重研究了文本聚類的相關(guān)內(nèi)容

2、,所開展的研究工作主要有:
　　 首先,本文深入研究文本聚類的相關(guān)理論和關(guān)鍵技術(shù),包括分詞、去除停用詞操作、文本表示、權(quán)重及相似度計算等,為后文的聚類實踐打下堅實的基礎(chǔ)。
　　 其次,本文對文本聚類存在高維稀疏的問題進(jìn)行分析,重點分析了高維性對文本聚類效果的影響,并對目前的降維技術(shù)進(jìn)行總結(jié),在簡單介紹流形學(xué)習(xí)算法思路的同時對其優(yōu)點進(jìn)行簡要概括。
　　 再次,針對文本聚類存在的問題,本文提出半定嵌入聚類算法(Sem

3、idefinite Embedding Clustering,SDE-C),算法思想是:首先利用半定嵌入算法對原始文本數(shù)據(jù)進(jìn)行非線性維數(shù)約簡,根據(jù)其數(shù)據(jù)分布找出高維數(shù)據(jù)中有意義的低維核結(jié)構(gòu),然后在低維核空間中進(jìn)行核聚類分析,最終達(dá)到降低文本特征維數(shù)和提高聚類質(zhì)量的目的。在公共數(shù)據(jù)集上的測試實驗和實際中文文本數(shù)據(jù)集的驗證實驗結(jié)果均表明,該算法是可行的,具有較好的文本聚類質(zhì)量。
　　 最后,針對新提出的半定嵌入文本聚類算法存在計算復(fù)

4、雜度較高、計算速度較慢這一缺陷,本文提出一種基于改進(jìn)ISDE的聚類算法(Improved-lSDEC)。首先利用最大最小規(guī)則對原ISDE(landmark SDE)的標(biāo)志點選取方式進(jìn)行改進(jìn),以保證算法的穩(wěn)定性;接著,在保持局部等距和最大化點對間距離和的約束下,通過半定規(guī)劃求出標(biāo)志核矩陣,利用標(biāo)志核矩陣得到高維數(shù)據(jù)空間的低維嵌入核矩陣,以實現(xiàn)數(shù)據(jù)非線性降維處理及刪減文本特征中的冗余信息,最后在低維核結(jié)構(gòu)中利用核聚類算法對文本進(jìn)行聚類分析。