基于Hadoop云計(jì)算平臺(tái)的K-Means聚類算法研究.pdf

1、聚類分析作為數(shù)據(jù)挖掘技術(shù)最熱門的研究方向之一，一直倍受廣大研究學(xué)者與開(kāi)發(fā)人員的青睞。聚類可以將用戶輸入的原始數(shù)據(jù)對(duì)象分成數(shù)個(gè)類簇，算法的目標(biāo)就是相同類簇內(nèi)的數(shù)據(jù)對(duì)象間相似程度較高，不同類簇內(nèi)的數(shù)據(jù)對(duì)象間相似程度較低。隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及人工智能的發(fā)展，Web端產(chǎn)生的信息量越來(lái)越龐大，如何高效穩(wěn)定地對(duì)超大規(guī)模數(shù)據(jù)進(jìn)行聚類分析成為了一個(gè)全新的研究課題。Hadoop分布式云計(jì)算平臺(tái)的興起，使利用多個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行并行計(jì)算去解決傳統(tǒng)串行算法

2、的性能問(wèn)題成為可能。
　　本文深入研究Hadoop分布式云計(jì)算平臺(tái)和聚類算法等相關(guān)技術(shù)。設(shè)計(jì)并實(shí)現(xiàn)一套基于Hadoop平臺(tái)的聚類分析系統(tǒng)。系統(tǒng)共分為二層架構(gòu)，分別為底層驅(qū)動(dòng)層、中間邏輯層以及對(duì)外服務(wù)層。文中詳細(xì)闡述系統(tǒng)的設(shè)計(jì)思想及具體實(shí)現(xiàn)過(guò)程，旨在將聚類分析具體操作在內(nèi)部進(jìn)行高度封裝，并對(duì)外暴露簡(jiǎn)單操作接口，使具體算法實(shí)現(xiàn)對(duì)用戶透明，穩(wěn)定高效地執(zhí)行聚類分析。通過(guò)深入分析K-Means算法中存在的問(wèn)題，設(shè)計(jì)基于Hadoop分布式平臺(tái)

3、的改進(jìn)方案。使用本文實(shí)現(xiàn)的聚類分析系統(tǒng)配置實(shí)驗(yàn)環(huán)境，分別從并行隨機(jī)采樣、樣本距離計(jì)算并行化以及數(shù)據(jù)對(duì)象聚類過(guò)程并行化三個(gè)方向優(yōu)化算法執(zhí)行過(guò)程，同時(shí)對(duì)改進(jìn)的K-Means并行算法流程進(jìn)行了詳細(xì)描述。
　　最后分別從收斂速度、正確率、初始化采樣速率和集群環(huán)境下加速比四個(gè)方向?qū)Ω倪M(jìn)的K-Means并行算法進(jìn)行實(shí)驗(yàn)測(cè)試。實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的基于Hadoop分布式云計(jì)算平臺(tái)的聚類分析系統(tǒng)能夠提供高效、穩(wěn)定、可配置的聚類分析服務(wù)。改進(jìn)的K-