高維分類數(shù)據(jù)聚類方法研究與實(shí)現(xiàn).pdf

1、聚類分析作為一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，根據(jù)一定的規(guī)則，將原本雜亂無章的數(shù)據(jù)分成一系列簇，使得每個(gè)簇由相似度較高的數(shù)據(jù)組成，這為后續(xù)的數(shù)據(jù)分析提供了極大的便利，被廣泛地應(yīng)用于網(wǎng)絡(luò)服務(wù)、地理、生物、貿(mào)易等多個(gè)領(lǐng)域。但隨著數(shù)據(jù)產(chǎn)生渠道及數(shù)據(jù)收集技術(shù)的發(fā)展，用于分析的數(shù)據(jù)維度及復(fù)雜度也越來越大，傳統(tǒng)的數(shù)據(jù)聚類算法在這些數(shù)據(jù)集上無法取得較好的聚類結(jié)果。
　　軟子空間聚類作為高維數(shù)據(jù)聚類領(lǐng)域的一個(gè)研究熱點(diǎn)，受到人們?cè)絹碓蕉嗟年P(guān)注。但針對(duì)分類數(shù)

2、據(jù)，目前已有的軟子空間聚類算法大多都是基于k-modes算法的擴(kuò)展，其數(shù)據(jù)間相似性的計(jì)算及屬性（也稱為特征）的權(quán)值計(jì)算都依賴類中心（modes）選擇，從而modes選的好壞直接影響了最終的聚類質(zhì)量。同時(shí)，現(xiàn)有的軟子空間聚類算法在聚類時(shí)對(duì)缺失數(shù)據(jù)和完整數(shù)據(jù)不加以區(qū)分，也很大程度上影響了最終的聚類結(jié)果。
　　針對(duì)高維不完整的分類數(shù)據(jù)，本文將基于簇直方圖高寬比聚類思想的CLOPE算法應(yīng)用于軟子空間聚類，并提出了一個(gè)新的軟子空間聚類算法。

3、首先，結(jié)合粗糙集提出了一個(gè)缺失數(shù)據(jù)處理方法，來處理數(shù)據(jù)集中的缺失數(shù)據(jù)，同時(shí)，根據(jù)屬性的平均互信息對(duì)屬性加權(quán)；然后，針對(duì)CLOPE算法的聚類質(zhì)量受數(shù)據(jù)輸入順序影響的問題，提出了對(duì)數(shù)據(jù)完全隨機(jī)排序的―洗牌模型來最大程度消除數(shù)據(jù)輸入順序?qū)ψ罱K聚類質(zhì)量的影響；最后，利用Scala語言在Spark平臺(tái)上實(shí)現(xiàn)了該算法，使其能用于大規(guī)模數(shù)據(jù)的聚類。
　　本文選擇UCI中的真實(shí)數(shù)據(jù)作為本文的實(shí)驗(yàn)數(shù)據(jù)，進(jìn)行了4組實(shí)驗(yàn)，分別用來驗(yàn)證洗牌模型及屬性加權(quán)