改進(jìn)的K均值算法在中文文本聚類中的研究.pdf

1、隨著信息時(shí)代的到來(lái)，各種電子文本數(shù)據(jù)急劇增加，如何對(duì)龐雜的數(shù)據(jù)進(jìn)行有效的管理并快速的獲取需要的信息，已成為一項(xiàng)亟待解決的重要課題。文本聚類和文本分類作為一個(gè)有效的管理和組織文本的工具，受到了越來(lái)越多的重視和研究。
　　 本文以中文文本聚類為研究對(duì)象，對(duì)中文文本聚類全過(guò)程進(jìn)行了較為深入的研究，包括文本預(yù)處理，文本聚類。針對(duì)K均值算法（KM）和二分K均值算法（BKM）在聚類分析存在的不足，基于合作聚類思想，提出了一種改進(jìn)的文本聚類算

2、法:合作二分K均值算法（CBKM）。
　　 本文主要的工作和取得的成果如下：
　　 （1）對(duì)當(dāng)前主要的文本聚類方法及代表性算法進(jìn)行了深入分析和研究，指出了各種代表性算法的優(yōu)缺點(diǎn)及適用范圍。
　　 （2）對(duì)文本聚類中文本表示模型、文本間距離的度量和文本預(yù)處理等關(guān)鍵技術(shù)問(wèn)題進(jìn)行了較為深入的探討。
　　 （3）K均值算法（KM），其聚類效果由于受初始聚類中心的影響，k值選擇難以有統(tǒng)一標(biāo)準(zhǔn)，且初始聚類中心的選擇會(huì)

3、對(duì)聚類產(chǎn)生較大影響，孤立點(diǎn)的存在造成很難找到全局最優(yōu)解。而二分K均值算法（BKM），其在聚類過(guò)程中產(chǎn)生的成員碎片難以通過(guò)其他方法來(lái)進(jìn)行重新聚類。針對(duì)KM算法和BKM算法在聚類中存在的缺陷，作者基于合作聚類的思想，提出了一種合作二分K均值算法（CBKM）。該算法主要分為整體聚類、合作聚類和融合三個(gè)階段。該算法是在BKM產(chǎn)生CF樹(shù)的過(guò)程中與通過(guò)KM進(jìn)行同步的中間合作來(lái)實(shí)現(xiàn)的。通過(guò)引入相似柱狀圖的概念，其能夠直觀的反應(yīng)簇之間元素的粘合性。并根

4、據(jù)子類相似的相似柱狀圖計(jì)算出兩個(gè)子類的融合因子，將融合因子值最大的兩個(gè)簇進(jìn)行融合，更新聚類簇。此過(guò)程產(chǎn)生的聚類結(jié)果能夠有效的避免聚類碎片的產(chǎn)生，并且由于是對(duì)子類的交集進(jìn)行合并聚類，所以有效的改善了K均值算法受初始聚類中心影響，該算法得到的是全局最有解，而不是局部最優(yōu)解。
　　 （4）CBKM算法是建立在KM算法和BKM算法的融合基礎(chǔ)上，從性能上來(lái)看，CBKM算法的時(shí)間復(fù)雜度高于KM算法和BKM算法，但低于兩者的和。