基于Hadoop平臺(tái)的本地化計(jì)算策略研究.pdf

1、大規(guī)模數(shù)據(jù)處理是云計(jì)算平臺(tái)不可缺少的關(guān)鍵模塊。Hadoop是一款適用于大規(guī)模數(shù)據(jù)集的分布式并行計(jì)算平臺(tái)，其核心模塊之一是集群中的資源調(diào)度，它是影響Hadoop集群性能的關(guān)鍵。隨著數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)，數(shù)據(jù)密集型計(jì)算是一種普遍的需要，也是Hadoop集群亟需解決的問(wèn)題。由于數(shù)據(jù)的分布式存儲(chǔ)，通過(guò)移動(dòng)數(shù)據(jù)來(lái)進(jìn)行計(jì)算已成為Hadoop集群系統(tǒng)發(fā)展的瓶頸。已有的研究表明，實(shí)現(xiàn)本地化計(jì)算即移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)是突破瓶頸的一種有效方式。
　

2、　Hadoop中將數(shù)據(jù)存儲(chǔ)在不同的節(jié)點(diǎn)上，若干節(jié)點(diǎn)組成機(jī)架。本文的研究中，將本地化計(jì)算分成節(jié)點(diǎn)本地化計(jì)算和機(jī)架本地化計(jì)算兩個(gè)層次。開(kāi)展的研究工作主要包括：
　?、儆懻摿擞?jì)算中資源需求的異構(gòu)性，給出了一種資源表示方法。為區(qū)分計(jì)算對(duì)資源的不同需求，討論了主導(dǎo)資源及其作用。
　?、谘芯亢头治隽酥鲗?dǎo)資源公平調(diào)度策略DRF（DominantResourceFairness）。DRF不同于Hadoop基于slot-based的公平調(diào)度器

3、（FairScheduler）和能力調(diào)度器（CapacityScheduler），能夠獲得系統(tǒng)更好的吞吐量。然而DRF確不具備計(jì)算本地化特征。
　?、垩芯苛薉elay調(diào)度約束策略，詳細(xì)分析了最大延遲間隔D與計(jì)算本地化程度的關(guān)系。獲得了本地化計(jì)算任務(wù)的等待時(shí)間、平均時(shí)間長(zhǎng)度及節(jié)點(diǎn)資源量間的關(guān)系。
　?、芙Y(jié)合計(jì)算本地化和調(diào)度公平性，提出一種滿足本地化計(jì)算的集群資源調(diào)度算法DDRF（Delay-DominantResourceFa

4、irness）。DDRF算法既能達(dá)到一個(gè)較高地本地化計(jì)算程度，又能保證資源調(diào)度公平。通過(guò)數(shù)據(jù)實(shí)驗(yàn)分析了DDRF算法對(duì)作業(yè)平均延長(zhǎng)時(shí)間、本地化計(jì)算程度的影響。
　?、菅芯苛嗽破脚_(tái)環(huán)境下SaaS（SoftwareasaService）以SOA（Service-OrientedArchitecture）架構(gòu)的實(shí)現(xiàn)模式。給出了一種基于SOA架構(gòu)的應(yīng)用開(kāi)發(fā)流程。結(jié)合整數(shù)查詢、點(diǎn)對(duì)查詢、單詞查詢、生成樹(shù)查詢等實(shí)際問(wèn)題，分析Top-K查詢應(yīng)用和