基于文本降維和蟻群算法的文本聚類研究.pdf

1、文本聚類技術(shù)作為文本挖掘中的一個(gè)技術(shù)分支，發(fā)揮著越來(lái)越重要的作用。文本聚類技術(shù)能夠?qū)⑾嗨频奈谋具M(jìn)行歸類，方便了各個(gè)領(lǐng)域的人員從海量的文本信息中挖掘潛在的、有價(jià)值的信息。
　　本文采用復(fù)旦大學(xué)中文文本語(yǔ)料庫(kù)進(jìn)行文本聚類研究，根據(jù)文本的相似度并結(jié)合相應(yīng)的聚類算法將相似的文本聚集成簇。因?yàn)橹形奈谋咀陨淼慕Y(jié)構(gòu)特點(diǎn)，在文本聚類之前需要對(duì)文本進(jìn)行相應(yīng)的文本預(yù)處理，即對(duì)文本進(jìn)行分詞并去除無(wú)用的停用詞。本文使用中科院分詞系統(tǒng)(ICTCLAS)對(duì)文

2、本分詞并使用哈工大停用詞表過(guò)濾停用詞。接著為了得到能夠有效表示文本內(nèi)容的特征詞，進(jìn)行特征詞的選擇。最后考慮到計(jì)算機(jī)不能直接處理非結(jié)構(gòu)或者半結(jié)構(gòu)的信息，本文采用向量空間模型(VSM)來(lái)表示文本、詞頻-逆文檔頻率(TF-IDF)值來(lái)表示每個(gè)特征詞的權(quán)重值。
　　通過(guò)分析文本處理的整個(gè)過(guò)程發(fā)現(xiàn)，如果直接將預(yù)處理后的關(guān)鍵詞直接組成向量空間模型，那么該模型就會(huì)存在著維度過(guò)高和數(shù)據(jù)元素稀疏問(wèn)題。為了解決其問(wèn)題，本文首先分兩步對(duì)特征詞進(jìn)行篩選，

3、第一步使用卡方檢驗(yàn)的方法對(duì)特征詞初步提取，得到特征詞集合，第二步對(duì)特征詞集合進(jìn)行基于語(yǔ)義的層次聚類，合并特征詞集合中同義或者相近的詞。接著，計(jì)算過(guò)濾后特征詞集合中每一個(gè)詞的TF-IDF值并生成向量空間模型。然而，此時(shí)生成模型仍然具有著高維度和元素稀疏的缺陷，本文采用奇異值分解的方法，找到向量空間模型的隱含語(yǔ)義空間，實(shí)現(xiàn)向量空間模型的降維并減少了噪聲點(diǎn)的干擾。通過(guò)以上方法的處理，保持了原有模型的特性，有效的降低了矩陣的維度，提高文本聚類的

4、效率。
　　文本降維處理后，接下來(lái)就是選擇合適的文本聚類算法。目前存在較多的文本聚類算法，根據(jù)聚類實(shí)現(xiàn)方法的不同大致可分為基于劃分、層次、密度、模型聚類方法。傳統(tǒng)的文本聚類算法存在需預(yù)先確定簇?cái)?shù)、無(wú)自組織等不足。所以本文采用了可以實(shí)現(xiàn)自組織的蟻群文本聚類算法作為最終的文本聚類算法。
　　通過(guò)分析基本的蟻群文本聚類算法可知，基本算法中也存在著諸多的不足，比如迭代的次數(shù)過(guò)多、螞蟻在二維平面中移動(dòng)過(guò)于隨機(jī)等等，這些因素影響了算法的

5、收斂速度和文本聚類效果。本文在基本算法的基礎(chǔ)上，采用了幾種改進(jìn)的措施，它們分別是修改算法終止條件使算法的結(jié)束不在簡(jiǎn)單的依賴最大迭代次數(shù)，避免了無(wú)意義空耗時(shí)間;動(dòng)態(tài)調(diào)整螞蟻的觀察半徑使螞蟻以線性遞減的方式調(diào)整觀察半徑，平衡了算法收斂速度和聚類效果;制定三種移動(dòng)策略使螞蟻在拾起、放下文本后移動(dòng)的方向具有了目標(biāo)性，提高了文本聚類的效果。
　　最后，通過(guò)相關(guān)的實(shí)例展示了本文采用的文本降維方法的具體實(shí)現(xiàn)過(guò)程，證明了方法的可行性。使用復(fù)旦大學(xué)