基于潛在語義的中文文本聚類及其應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，以數(shù)字形式存儲的文本數(shù)量出現(xiàn)了爆炸式的增長。為有效地組織它們以滿足需求，文本聚類技術(shù)應(yīng)運而生。傳統(tǒng)的文本聚類技術(shù)，首先要利用向量空間模型(VSM)將非結(jié)構(gòu)化的文本信息轉(zhuǎn)化為結(jié)構(gòu)化的詞-文檔矩陣，然后進(jìn)行聚類處理。由于自然語言中多義詞、同義詞等不確定性因素的存在，而向量空間模型只是詞面上的匹配，所以利用向量空間模型進(jìn)行文本聚類，質(zhì)量欠佳。為了彌補單純的向量空間模型的這一不足，研究人員開始探索一種智能型的解決方法，即潛在

2、語義分析法。
　　 潛在語義分析(LSA)，它可以看作是一種擴展的向量空間模型。在利用向量空間模型將數(shù)據(jù)集里的文本表示成詞-文檔矩陣之后，LSA通過截斷奇異值分解(TSVD)，建立低維的詞語對文檔的潛在語義空間，然后在低維的語義空間中應(yīng)用k-平均算法來對文本進(jìn)行聚類。本文主要研究基于潛在語義分析的中文文本聚類的效果，對可能產(chǎn)生影響的因素進(jìn)行分析。因為截斷奇異值分解在過濾“噪聲”的同時，也會舍棄一部分的弱勢特征。為了減弱LSA對弱

3、勢主題的忽略，本文提出一個基于詞替代思想的潛在語義分析改進(jìn)模型。在進(jìn)行文本聚類時，常用的算法是k-平均聚類算法，k-平均聚類算法時間和空間復(fù)雜度較小，易于實現(xiàn)；但k-平均算法在隨機選取初始類中心時存在不足，而且不適用于發(fā)現(xiàn)大小差別很大的分區(qū)，對噪聲和孤立點很敏感。本文針對這幾點不足，將文本模擬成數(shù)據(jù)點，借鑒分子間的相互作用力模型，對k-平均聚類算法進(jìn)行改進(jìn)，并利用云模型來確定孤立點。最后，本文利用改進(jìn)的LSA，提出基于用戶潛在興趣的多層