分布式數(shù)據(jù)處理系統(tǒng)中作業(yè)性能優(yōu)化關(guān)鍵技術(shù)研究.pdf

1、隨著各行業(yè)中數(shù)據(jù)規(guī)模地增長(zhǎng)，分布式數(shù)據(jù)處理技術(shù)被廣泛應(yīng)用于各行業(yè)數(shù)據(jù)分析中。MapReduce具有使用方便、易于編程、容錯(cuò)性強(qiáng)和高性價(jià)比等優(yōu)勢(shì)，目前已經(jīng)成為主流的分布式處理模型，并在各行業(yè)的大規(guī)模數(shù)據(jù)分析中得到了廣泛的應(yīng)用。然而隨著數(shù)據(jù)處理需求的不斷增長(zhǎng)，MapReduce自身存在的一些缺陷也逐漸顯露，最常見(jiàn)的缺陷包括：MapReduce中較多的配置參數(shù)、不完善的任務(wù)調(diào)度策略、數(shù)據(jù)本地化有效性低和資源槽分配不合理等。這些不足導(dǎo)致MapR

2、educe作業(yè)執(zhí)行效率低下。MapReduce作業(yè)性能調(diào)優(yōu)是通過(guò)優(yōu)化MapReduce中各方面的不足來(lái)改善MapReduce作業(yè)性能，使得作業(yè)在MapReduce中的執(zhí)行時(shí)間大大降低，因此，MapReduce作業(yè)性能優(yōu)化的研究具有重要的科學(xué)意義和應(yīng)用價(jià)值。
　　本文針對(duì)MapReduce作業(yè)性能優(yōu)化的若干關(guān)鍵問(wèn)題進(jìn)行研究。在總結(jié)作業(yè)性能優(yōu)化相關(guān)研究成果的基礎(chǔ)上，建立了I/O代價(jià)函數(shù)來(lái)闡述配置參數(shù)對(duì)作業(yè)執(zhí)行時(shí)間的重要性；提出了通過(guò)特

3、征選擇的方法來(lái)選擇影響作業(yè)執(zhí)行時(shí)間的重要參數(shù)，同時(shí)通過(guò)優(yōu)化數(shù)據(jù)本地化、數(shù)據(jù)副本置放策略和任務(wù)調(diào)度的方法來(lái)改善作業(yè)執(zhí)行時(shí)間。
　　本文的研究?jī)?nèi)容和創(chuàng)新點(diǎn)具體包含以下幾個(gè)方面：
　　①通過(guò)建立I/O讀寫字節(jié)數(shù)和I/O請(qǐng)求數(shù)目函數(shù)證明了存在部分配置參數(shù)會(huì)直接影響MapReduce作業(yè)的執(zhí)行時(shí)間。并驗(yàn)證了各配置參數(shù)對(duì)MapReduce作業(yè)執(zhí)行時(shí)間的影響程度不同。
　?、谔岢隽嘶诤撕瘮?shù)懲罰的聚類特征選擇算法（ IK-means

4、），解決了MapReduce中因配置參數(shù)過(guò)多而使得平臺(tái)管理人員配置困難的問(wèn)題。在IK-means中，為了準(zhǔn)確地判斷各特征參數(shù)的影響程度，采用各向異性高斯核函數(shù)代替了傳統(tǒng)的高斯核函數(shù)，通過(guò)各向異性高斯核函數(shù)不同方向的參數(shù)（也被稱為核寬）來(lái)反映每個(gè)特征的重要程度。提出利用梯度下降算法來(lái)最小化各向異性高斯核的核寬向量，使得所選擇的特征進(jìn)行聚類的效果能最接近原始特征的聚類效果，從而達(dá)到特征選擇的目的。針對(duì)聚類特征選擇算法對(duì)初始點(diǎn)選擇敏感的問(wèn)題，

5、提出了全局感知的局部密度初始點(diǎn)選擇算法。通過(guò)理論證明和實(shí)驗(yàn)結(jié)果表明，本文提出的特征選擇算法在配置參數(shù)的選擇中具有良好的效果。
　?、厶岢隽嘶诙繄D最小權(quán)匹配的數(shù)據(jù)本地化算法，解決了MapReduce中同時(shí)滿足多任務(wù)數(shù)據(jù)本地化的問(wèn)題，同時(shí)提出了動(dòng)態(tài)副本自適應(yīng)算法，通過(guò)熱數(shù)據(jù)的識(shí)別解決了動(dòng)態(tài)副本置放技術(shù)中的如何確定備份副本的問(wèn)題。理論論證和實(shí)驗(yàn)結(jié)果表明動(dòng)態(tài)自適應(yīng)副本算法有效地支撐了二部圖最小權(quán)匹配算法，并改善了多任務(wù)數(shù)據(jù)本地化的有效