基于分形維數(shù)的選擇性聚類(lèi)融合算法研究.pdf

1、聚類(lèi)是將數(shù)據(jù)樣本劃分成不同的類(lèi)，使得在同一類(lèi)內(nèi)的數(shù)據(jù)對(duì)象盡可能相似，不同類(lèi)之間的數(shù)據(jù)對(duì)象相似性盡可能小，它屬于無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法。聚類(lèi)分析技術(shù)在數(shù)據(jù)挖掘、模式識(shí)別、統(tǒng)計(jì)等諸多領(lǐng)域有著廣泛的應(yīng)用前景，一直是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。針對(duì)特定數(shù)據(jù)，如何選擇合適的聚類(lèi)算法一直是研究的重點(diǎn)。聚類(lèi)融合是對(duì)已產(chǎn)生的聚類(lèi)結(jié)果，通過(guò)共識(shí)函數(shù)設(shè)計(jì)進(jìn)行融合，以達(dá)到最大化已有聚類(lèi)結(jié)果共享信息的目的，從而得到比單一聚類(lèi)算法更加準(zhǔn)確和穩(wěn)定的挖掘結(jié)果。本文將聚

2、類(lèi)融合算法思想與分形數(shù)據(jù)挖掘技術(shù)相結(jié)合，提出了基于分形維數(shù)的聚類(lèi)融合算法。在大數(shù)據(jù)的環(huán)境下，將上述算法擴(kuò)展到云計(jì)算環(huán)境下實(shí)現(xiàn)。
　　傳統(tǒng)的聚類(lèi)融合算法在第一步產(chǎn)生聚類(lèi)成員之后，將所有的聚類(lèi)成員參與融合，這樣使得一些劣質(zhì)的聚類(lèi)結(jié)果參與了后面的融合，干擾了融合的準(zhǔn)確性，降低了最終聚類(lèi)結(jié)果的質(zhì)量。在監(jiān)督學(xué)習(xí)中，選擇分類(lèi)融合方法會(huì)得到更好的結(jié)果，從“選擇分類(lèi)融合”中獲得啟發(fā)，將選擇性融合思想引入到聚類(lèi)融合中，產(chǎn)生了選擇性聚類(lèi)融合算法(Cl

3、ustering Ensemble Selection)。近幾年的研究表明，選擇性聚類(lèi)融合方法能很好的提高聚類(lèi)算法的魯棒性等性能。本文在第一步聚類(lèi)成員產(chǎn)生階段引入分形數(shù)據(jù)挖掘技術(shù)，并將分形維數(shù)與投影聚類(lèi)算法結(jié)合，提出了基于分形維數(shù)的選擇性聚類(lèi)融合算法，以提高聚類(lèi)成員的準(zhǔn)確性。
　　本文的具體研究?jī)?nèi)容包括:
　　(1)針對(duì)傳統(tǒng)的K-means聚類(lèi)算法適于發(fā)現(xiàn)球形數(shù)據(jù)集聚類(lèi)，提出了一種基于分形維數(shù)的聚類(lèi)融合算法，它將融合思想與單

4、一分形聚類(lèi)相結(jié)合，較之單一的分形聚類(lèi)算法，可以提高聚類(lèi)結(jié)果的準(zhǔn)確性，可以發(fā)現(xiàn)任意形狀且距離非鄰近的聚類(lèi)。
　　(2)傳統(tǒng)的聚類(lèi)算法對(duì)于處理海量和高維數(shù)據(jù)面臨著很多問(wèn)題。本文研究了在云計(jì)算環(huán)境下，利用集群系統(tǒng)的并行計(jì)算能力，實(shí)現(xiàn)海量數(shù)據(jù)的聚類(lèi)問(wèn)題。為了提高聚類(lèi)結(jié)果的準(zhǔn)確性和穩(wěn)定性，采用聚類(lèi)融合的思想，利用分形聚類(lèi)數(shù)據(jù)挖掘算法，可以實(shí)現(xiàn)任意形狀的海量數(shù)據(jù)集聚類(lèi)。
　　(3)針對(duì)傳統(tǒng)聚類(lèi)融合算法不能消除劣質(zhì)聚類(lèi)成員的干擾，及聚類(lèi)準(zhǔn)

5、確性不高等問(wèn)題，提出了一種基于分形維數(shù)的選擇性聚類(lèi)融合算法。該算法通過(guò)基于分形維數(shù)的聚類(lèi)算法實(shí)現(xiàn)增量式聚類(lèi)，能夠發(fā)現(xiàn)任意形狀的聚類(lèi);再通過(guò)基于互信息計(jì)算權(quán)值的選擇策略，選取部分優(yōu)質(zhì)聚類(lèi)成員利用加權(quán)共協(xié)矩陣實(shí)現(xiàn)融合，獲得最終的聚類(lèi)結(jié)果。通過(guò)實(shí)驗(yàn)證實(shí)，與傳統(tǒng)聚類(lèi)融合算法相比，該算法提高了聚類(lèi)質(zhì)量，具有較好的擴(kuò)展性。
　　(4)針對(duì)高維數(shù)據(jù)聚類(lèi)，提出了一種基于分形維數(shù)和投影的選擇性聚類(lèi)融合算法。該算法首先計(jì)算數(shù)據(jù)集的分形維數(shù)作為本質(zhì)維數(shù)

6、，利用投影聚類(lèi)算法實(shí)現(xiàn)數(shù)據(jù)集的降維、聚類(lèi);進(jìn)而根據(jù)選擇出的最優(yōu)參照成員及設(shè)計(jì)的選擇策略選擇部分優(yōu)質(zhì)的聚類(lèi)成員;最后利用加權(quán)共協(xié)矩陣實(shí)現(xiàn)融合，獲得最終聚類(lèi)結(jié)果。通過(guò)在UCI數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)來(lái)驗(yàn)證該文算法對(duì)于處理高維數(shù)據(jù)聚類(lèi)問(wèn)題的有效性;相比于其它聚類(lèi)算法，聚類(lèi)結(jié)果的準(zhǔn)確性得到提高。
　　(5)根據(jù)以上的研究?jī)?nèi)容，結(jié)合項(xiàng)目需要，將選擇性聚類(lèi)融合算法應(yīng)用到氣象數(shù)據(jù)中，通過(guò)對(duì)氣象數(shù)據(jù)挖掘，根據(jù)聚類(lèi)結(jié)果進(jìn)行氣候區(qū)劃，將我國(guó)進(jìn)行溫度帶劃分，