基于改進(jìn)FCM算法的無字典中文文本聚類方法研究.pdf

1、如今，伴隨著網(wǎng)絡(luò)的快速發(fā)展和壯大，各式各樣的信息也隨之而來，其數(shù)量是難以估計(jì)的，其中又是以文本形式存在的數(shù)量最為巨大。對(duì)于這些數(shù)量巨大的文本信息，通過計(jì)算機(jī)的輔助，對(duì)其進(jìn)行聚類或分類的操作再進(jìn)行后繼的處理，是目前一種常貝．的文本處理手段。 本文主要討論研究了與中文文本相關(guān)的聚類處理過程，主要是如何通過分詞統(tǒng)計(jì)，特征表示，模糊聚類來得到一個(gè)好的文本聚類集。 我們一般將一個(gè)文本表現(xiàn)為一個(gè)超空間矢量，矢量的各維坐標(biāo)是文本中的各

2、個(gè)詞的詞頻相關(guān)信息。中文文本比起英文等外語文本，其聚類處理過程還要增加一個(gè)分詞處理過程。本文重點(diǎn)研究了統(tǒng)計(jì)分詞算法，通過引入字符串置信度概念，通過其進(jìn)行冗余字符串的剔除，彌補(bǔ)了統(tǒng)計(jì)分詞下偽字符串過多的缺點(diǎn)。 對(duì)于最關(guān)鍵的聚類方法，重點(diǎn)研究了FCM算法的理論由來，處理方法以及缺點(diǎn)不足。針對(duì)FCM算法的三個(gè)主要缺點(diǎn)，我們引入模糊聚類有效性函數(shù)和半監(jiān)督聚類方法進(jìn)行彌補(bǔ)。通過對(duì)改進(jìn)了的目標(biāo)函數(shù)的數(shù)學(xué)推導(dǎo)，得到了改進(jìn)了的隸屬度函數(shù)。在此基