基于云的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化問題研究.pdf

1、近年來,人們見證了數(shù)據(jù)的爆炸式增長(zhǎng),大數(shù)據(jù)已經(jīng)開始深入到人們生活的方方面面。為了挖掘海量數(shù)據(jù)背后潛藏的價(jià)值,研究人員提出了MapReduce并行處理框架,以應(yīng)對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)在處理大數(shù)據(jù)時(shí)的缺陷。MapReduce以“分而治之”的思想通過將海量數(shù)據(jù)分片到分布式集群中的節(jié)點(diǎn)中執(zhí)行,從而大大提高數(shù)據(jù)處理的效率。它衍生出了Hadoop、Spark等開源的大數(shù)據(jù)處理系統(tǒng),受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。大數(shù)據(jù)處理系統(tǒng)離不開大量底層基礎(chǔ)設(shè)施資源的

2、支撐,然而初期昂貴的一次性經(jīng)濟(jì)投入以及后期繁雜的運(yùn)維工作卻阻礙了部分中小型企業(yè)運(yùn)用大數(shù)據(jù)處理系統(tǒng)。因此隨著云計(jì)算技術(shù)的不斷發(fā)展,越來越多的企業(yè)和組織開始將大數(shù)據(jù)處理遷移到云中進(jìn)行,充分利用云計(jì)算中按需自服務(wù)、彈性擴(kuò)展的優(yōu)勢(shì),縮短數(shù)據(jù)處理和分析的生命周期,提高生產(chǎn)效率。
　　云計(jì)算為大數(shù)據(jù)處理帶來了便利的同時(shí),也給它帶來了新的挑戰(zhàn)和問題。本文在全面、深入地研究分析了現(xiàn)有的基于云計(jì)算的大數(shù)據(jù)處理系統(tǒng)的相關(guān)成果之后,以性能優(yōu)化為目標(biāo),在

3、云中大數(shù)據(jù)處理虛擬集群的調(diào)度、分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)放置和大數(shù)據(jù)處理系統(tǒng)的任務(wù)調(diào)度三個(gè)方面展開了研究工作:
　　首先,本文對(duì)云計(jì)算環(huán)境中大數(shù)據(jù)處理系統(tǒng)的網(wǎng)絡(luò)性能需求進(jìn)行分析和建模,充分考慮到云環(huán)境中網(wǎng)絡(luò)資源的共享問題,刻畫大數(shù)據(jù)虛擬集群競(jìng)爭(zhēng)時(shí)可獲得的最大網(wǎng)絡(luò)性能?；诖四Ｐ?提出了面向網(wǎng)絡(luò)性能優(yōu)化的云中大數(shù)據(jù)處理虛擬集群調(diào)度問題。并針對(duì)此問題,設(shè)計(jì)了一個(gè)啟發(fā)式的調(diào)度算法,目標(biāo)是在滿足時(shí)間要求的前提下,盡量尋找最優(yōu)解,優(yōu)化大數(shù)據(jù)處理系

4、統(tǒng)在云中的網(wǎng)絡(luò)性能。模擬實(shí)驗(yàn)表明該算法能夠獲得接近于最優(yōu)的調(diào)度結(jié)果。
　　然后,本文研究了云環(huán)境中Hadoop分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)放置問題。針對(duì)云中虛擬機(jī)共存和異構(gòu)性帶來的數(shù)據(jù)可靠性下降和應(yīng)用處理性能降低的問題,提出了一個(gè)基于位置感知的數(shù)據(jù)塊放置算法。算法通過感知虛擬集群在真實(shí)物理拓?fù)渲械南鄬?duì)位置進(jìn)行數(shù)據(jù)塊副本的放置,提高數(shù)據(jù)塊的可靠性。同時(shí)通過前瞻性地預(yù)測(cè)各節(jié)點(diǎn)的處理負(fù)載,提高本地任務(wù)的比例,優(yōu)化數(shù)據(jù)處理應(yīng)用的性能。通過一系列的

5、模擬實(shí)驗(yàn)和真實(shí)的集群實(shí)驗(yàn)分析,證明了該放置算法能夠在滿足實(shí)時(shí)性要求的前提下,加強(qiáng)數(shù)據(jù)的可靠性并且有效縮短I/O敏感型應(yīng)用的處理時(shí)間。
　　最后,本文研究了在云環(huán)境中運(yùn)行大數(shù)據(jù)處理系統(tǒng)時(shí)的推測(cè)性任務(wù)調(diào)度問題。為了避免海量任務(wù)中的部分異?；蛘呗浜笕蝿?wù)給整個(gè)應(yīng)用作業(yè)帶來的影響,大數(shù)據(jù)處理系統(tǒng)常常通過啟動(dòng)推測(cè)性的備份任務(wù)來縮短作業(yè)完成時(shí)間。推測(cè)性任務(wù)執(zhí)行的關(guān)鍵在于對(duì)異常任務(wù)的精確檢測(cè)和任務(wù)完成時(shí)間的預(yù)測(cè),本文基于歷史作業(yè)信息對(duì)當(dāng)前的任務(wù)的

6、執(zhí)行時(shí)間進(jìn)行輔助預(yù)測(cè),并且提出基于全局速度和局部速度相結(jié)合的方法挑選異常任務(wù),從而在精確檢測(cè)落后任務(wù)的同時(shí),避免異常任務(wù)的誤判導(dǎo)致的資源競(jìng)爭(zhēng)。實(shí)驗(yàn)結(jié)果表明該方法能夠有效減少作業(yè)的完成時(shí)間。
　　本文主要以性能優(yōu)化為目標(biāo),充分考慮了云計(jì)算和大數(shù)據(jù)處理各自的特性和需求,對(duì)于大數(shù)據(jù)處理系統(tǒng)遷移到云中運(yùn)行的相關(guān)問題進(jìn)行了研究。首先本文提出了一個(gè)啟發(fā)式算法尋求虛擬集群調(diào)度時(shí)的最優(yōu)解。隨后,論文提出了基于位置感知的數(shù)據(jù)塊放置策略和基于歷史信息