面向聚類分析的迭代MapReduce計算模型研究.pdf

1、MapReduce計算模型是一種高效的大規(guī)模數(shù)據(jù)處理方式,廣泛應(yīng)用于搜索引擎、電子商務(wù)以及社交網(wǎng)絡(luò)等領(lǐng)域。然而,運行環(huán)境重復初始化、靜態(tài)數(shù)據(jù)重復載入、中間結(jié)果對網(wǎng)絡(luò)的負載壓力等原因造成了 MapReduce計算模型無法高效的處理迭代計算的問題。為此,本文將數(shù)據(jù)劃分為可以被分散的緩存在分布式環(huán)境節(jié)點內(nèi)存中的中等規(guī)模數(shù)據(jù)以及不能被分散的緩存在分布式環(huán)境節(jié)點內(nèi)存中的大規(guī)模數(shù)據(jù),并且設(shè)計了兩種針對不同規(guī)模數(shù)據(jù)的迭代 MapReduce效率的優(yōu)化

2、方案。
　　首先,本文設(shè)計了用于提高MapReduce計算模型以迭代方式處理中等規(guī)模數(shù)據(jù)時效率的MapCombine方案。MapCombine通過給Combine任務(wù)添加緩存數(shù)據(jù)的功能,避免了靜態(tài)數(shù)據(jù)重復載入;增加了一個名為Controller的新組件,以其來調(diào)度迭代,避免了分布式環(huán)境重復初始化;設(shè)計了基于HBase的交互層,用于持久化中間數(shù)據(jù),保證設(shè)計方案的健壯性。
　　其次,本文設(shè)計了用于提高MapReduce計算模型以

3、迭代方式處理大規(guī)模數(shù)據(jù)時效率的CycleMap方案。CycleMap通過增加一個名為Collector的新組件來替代Reduce任務(wù)的工作,避免了排序和洗牌這兩個過程對執(zhí)行效率的影響;通過流水線的方式運行任務(wù),間接的達成了整個迭代任務(wù)僅需要完成一次初始化工作的設(shè)計初衷,避免了分布式環(huán)境重復初始化。
　　最后,本設(shè)計基于以上兩個方案,分別實現(xiàn)了K-Means、Fuzzy K-Means以及Dirichlet Process三個聚類算