基于Hadoop的MapReduce的性能分析與優(yōu)化.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，各類信息數(shù)據(jù)的增長(zhǎng)速度越來(lái)越快，針對(duì)海量數(shù)據(jù)的處理需求，云計(jì)算逐漸成為業(yè)界的主流計(jì)算模式。MapReduce是云計(jì)算思想的編程模型，以其簡(jiǎn)單實(shí)用的接口使得數(shù)據(jù)的并行處理變得簡(jiǎn)單易行，為海量數(shù)據(jù)的計(jì)算處理提供了軟件支持。
　　迭代計(jì)算是MapReduce模型需要優(yōu)化的性能之一，本文首先分析了目前主流迭代框架存在的不足，特別是在抽象度不夠高，不能夠并行處理任務(wù)數(shù)據(jù)與靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)不能完全分離等方面。針對(duì)上述

2、問(wèn)題對(duì)MapReduce框架進(jìn)行了改進(jìn)，通過(guò)分割Map任務(wù)和Reduce任務(wù)以及對(duì)迭代終止條件進(jìn)行并行檢測(cè)，提出了相應(yīng)的并行處理策略，解決了之前串行處理導(dǎo)致計(jì)算時(shí)間過(guò)長(zhǎng)的問(wèn)題，然后通過(guò)對(duì) Map端存儲(chǔ)策略的改進(jìn)，將靜態(tài)數(shù)據(jù)存儲(chǔ)到 Map端，直接在 Map端完成對(duì)靜態(tài)數(shù)據(jù)與動(dòng)態(tài)數(shù)據(jù)的計(jì)算過(guò)程，使得一次迭代過(guò)程中的MapReduce數(shù)得到減少。
　　針對(duì)基于MapReduce的SVM分類算法對(duì)數(shù)據(jù)集的訓(xùn)練是將各子節(jié)點(diǎn)訓(xùn)練后得到的支持向

3、量進(jìn)行合并，得到的分類器分類效率和準(zhǔn)確率并不理想。為此，提出了一種改進(jìn)的訓(xùn)練算法 PISVMAM，該算法在各節(jié)點(diǎn)上運(yùn)用遺傳算法來(lái)尋找子數(shù)據(jù)集的最優(yōu)核函數(shù)及參數(shù)，用得到的參數(shù)組合對(duì)子數(shù)據(jù)集進(jìn)行訓(xùn)練得到支持向量，合并每個(gè)節(jié)點(diǎn)訓(xùn)練后的支持向量為全局支持向量，然后在各個(gè)節(jié)點(diǎn)上將子集與全局支持向量合并并作為新的訓(xùn)練數(shù)據(jù)集，重復(fù)這四個(gè)步驟，直到全局支持向量不再變化時(shí)，則收斂到最優(yōu)分類模型。
　　通過(guò)程序的編寫及實(shí)驗(yàn)平臺(tái)的搭建，優(yōu)化后的迭代框架