基于大數(shù)據(jù)的聚類算法研究及應(yīng)用.pdf

1、本文主要研究 k-means聚類算法及其應(yīng)用。在大數(shù)據(jù)背景下，傳統(tǒng)聚類分析算法的局限性已日益凸顯，其中最明顯的就是傳統(tǒng)聚類算法對于小規(guī)模簡單數(shù)據(jù)集執(zhí)行效率高且聚類結(jié)果良好，但面對大規(guī)模高維數(shù)據(jù)集，傳統(tǒng) k-means算法就會出現(xiàn)諸如效率低下、準(zhǔn)確率降低等缺點，而且 k-means算法易受初始中心和異常數(shù)據(jù)的影響，影響聚類準(zhǔn)確性。針對以上問題，本文對面向大規(guī)模高維數(shù)據(jù)的k-means聚類分析算法進行了研究分析并進行改進，提高其在大規(guī)模高維

2、數(shù)據(jù)集上的執(zhí)行效率和準(zhǔn)確度。
　　本文的研究工作主要體現(xiàn)在以下三方面。第一，將基于信息熵的核主成分分析法與k-means算法相結(jié)合，根據(jù)屬性的信息熵值對數(shù)據(jù)屬性進行初步篩選，根據(jù)規(guī)定的閾值去除信息量小的屬性，減少冗余屬性，然后對提取出的屬性進行核主成分分析，從而實現(xiàn)對數(shù)據(jù)的降維，最后在降維后的數(shù)據(jù)上實行k-means算法，這樣就減少了聚類的計算量，提高了聚類的計算效率。第二，本文針對k-means算法隨機選擇初始聚類中心易出現(xiàn)聚類

3、結(jié)果不穩(wěn)定的情況，首先對數(shù)據(jù)集進行簡單隨機抽樣，獲得與原始數(shù)據(jù)集分布基本一致的少量樣本數(shù)據(jù)集，并根據(jù)抽樣樣本空間分布的緊密度程度，利用最小方差優(yōu)化來實現(xiàn) k-means算法初始聚類中心的選取，減少異常點等不確定因素對初始聚類中心帶來的不良影響。其次為了克服聚類計算過程中樣本數(shù)據(jù)不同屬性對聚類結(jié)果的影響程度，引入熵值法來計算屬性權(quán)重，從而提出基于優(yōu)化初始聚類中心的加權(quán) k-means算法來提高聚類精度，并通過數(shù)值實驗驗證了算法的可行性和有