基于成對(duì)約束的半監(jiān)督聚類算法研究及其并行化實(shí)現(xiàn).pdf

1、作為數(shù)據(jù)挖掘領(lǐng)域中的一種重要方法，聚類分析能夠發(fā)現(xiàn)數(shù)據(jù)對(duì)象自然的分布結(jié)構(gòu)。它根據(jù)數(shù)據(jù)對(duì)象之間的相似性，把數(shù)據(jù)對(duì)象分割成簇，并保證同一簇內(nèi)中數(shù)據(jù)的相似性盡可能大，而不同簇間數(shù)據(jù)的相似性盡可能小。從機(jī)器學(xué)習(xí)的角度來(lái)看，聚類分析是一種無(wú)監(jiān)督的學(xué)習(xí)方法，它按照一定的優(yōu)化準(zhǔn)則對(duì)數(shù)據(jù)進(jìn)行分割，對(duì)數(shù)據(jù)的分析不需要知道其相關(guān)的背景知識(shí)。但是，現(xiàn)實(shí)生活中我們對(duì)數(shù)據(jù)的信息并不是一無(wú)所知，并且我們發(fā)現(xiàn)通過(guò)這些少量的已知信息能夠找到數(shù)據(jù)對(duì)象標(biāo)識(shí)或相互之間的約束

2、信息。半監(jiān)督聚類就是在傳統(tǒng)的無(wú)監(jiān)督聚類算法中引入先驗(yàn)知識(shí)來(lái)指導(dǎo)聚類過(guò)程，提高聚類結(jié)果精度。
　　 本文選擇引入成對(duì)約束作為先驗(yàn)知識(shí)來(lái)協(xié)助指導(dǎo)聚類過(guò)程，分別建立了Must-Link和Cannot-Link約束組，用以描述兩個(gè)樣本數(shù)據(jù)間的關(guān)系。其中，Must-Link代表兩個(gè)樣本數(shù)據(jù)必須被分配到同一劃分，而Cannot-Link則代表兩個(gè)樣本數(shù)據(jù)必須被分配到不同的劃分。詳細(xì)介紹了基于成對(duì)約束的半監(jiān)督聚類算法Cop-Kmeans，對(duì)算

3、法比較常見(jiàn)的約束違反的問(wèn)題，提出了全新的改進(jìn)方法，在解決約束違反的同時(shí)，算法的運(yùn)行時(shí)間效率也優(yōu)于傳統(tǒng)的改進(jìn)方案。此外，針對(duì)成對(duì)約束自身特征可能給聚類性能帶來(lái)的不良影響，進(jìn)一步提出了相應(yīng)的改進(jìn)方案，能夠最大限度的削弱這種不良影響，從而能夠在一定程度上改善聚類結(jié)果精度。
　　 考慮到當(dāng)聚類對(duì)象是一個(gè)大數(shù)據(jù)集或者高維數(shù)據(jù)類型時(shí)，傳統(tǒng)的單機(jī)串行聚類算法無(wú)論是在內(nèi)存或者運(yùn)算能力都無(wú)法滿足實(shí)際需求。本文選擇運(yùn)用“云計(jì)算”思想，采用并行處理方