面向大規(guī)模交互式分析的MapReduce優(yōu)化技術研究.pdf

1、近年來，數(shù)據(jù)呈指數(shù)級增長趨勢使得大數(shù)據(jù)問題受到廣泛關注。與傳統(tǒng)的海量數(shù)據(jù)相比，大數(shù)據(jù)更強調(diào)數(shù)據(jù)的潛在價值，需要強有力的分析挖掘技術才能有效獲取這種價值。大數(shù)據(jù)分析挖掘?qū)Υ笠?guī)模并行數(shù)據(jù)處理技術提出了高性能、高可擴展、高可靠等要求。MapReduce支持大規(guī)模自動化并行、高度自動化擴展、細粒度透明容錯，非常適合大數(shù)據(jù)分析挖掘。目前，MapReduce技術已經(jīng)成為大數(shù)據(jù)分析挖掘的核心技術。MapReduce應用大量出現(xiàn)，很多機構都在使用Map

2、Reduce來解決他們的應用需求，例如：衛(wèi)星圖像數(shù)據(jù)清洗、生成倒排索引、用戶點擊流分析等。然而，MapReduce最初用于大規(guī)模批處理領域，最近才開始轉(zhuǎn)向大規(guī)模交互式應用領域。與批處理應用相比，交互式應用有很多不同，這使得最初的MapReduce系統(tǒng)不能很好地適應。對于交互式應用優(yōu)化，傳統(tǒng)數(shù)據(jù)庫研究領域已積累了大量成熟技術，但數(shù)據(jù)庫的擴展性和可靠性受限。
　　本研究主要內(nèi)容包括：⑴基于全局索引的MapReduce作業(yè)調(diào)度執(zhí)行優(yōu)化。

3、優(yōu)化對象是大規(guī)模交互式分析挖掘應用中一類常見的作業(yè)類型-條件類作業(yè)。原始MapReduce系統(tǒng)沒有針對條件類作業(yè)的語義特點進行優(yōu)化。在已有研究工作基礎上，提出了一種基于全局索引的作業(yè)調(diào)度執(zhí)行優(yōu)化策略。優(yōu)化目標是作業(yè)的執(zhí)行開銷和調(diào)度開銷。前提假設是數(shù)據(jù)分區(qū)全局有序，有針對數(shù)據(jù)分區(qū)的全局索引知識。方法是在MapReduce處理流程中增加條件分析階段，并基于全局索引減少需要調(diào)度執(zhí)行的任務規(guī)模。實驗結果表明我們的策略對條件類作業(yè)具有更好的調(diào)度開

4、銷和執(zhí)行開銷。⑵關注數(shù)據(jù)本地性的公平任務調(diào)度算法。在大規(guī)模普通網(wǎng)絡集群環(huán)境進行數(shù)據(jù)密集型計算，網(wǎng)絡帶寬是最稀缺的系統(tǒng)資源。使任務靠近數(shù)據(jù)執(zhí)行是非常重要的性能優(yōu)化原則，該原則在MapReduce環(huán)境下被稱為數(shù)據(jù)本地性原則。數(shù)據(jù)本地性直接影響著計算效率。交互式計算平臺由大量用戶共享，需要公平共享資源。在交互式環(huán)境下絕對公平對數(shù)據(jù)本地性影響較大。為此，本文提出一種靈活的公平調(diào)度策略，稱為K％-公平調(diào)度。首先考慮數(shù)據(jù)本地性，進而考慮公平性。通過

5、調(diào)整參數(shù)K，可使數(shù)據(jù)本地性和公平性都得到較好的優(yōu)化。⑶關注數(shù)據(jù)本地性的任務調(diào)度框架。任務調(diào)度階段，數(shù)據(jù)本地性是必須要考慮的指標。此外，可能還需要考慮其他因素（如作業(yè)長度、作業(yè)類型、數(shù)據(jù)共享、等待時間等）。因此，有必要設計一個關注綜合指標的任務調(diào)度框架。該框架優(yōu)先考慮數(shù)據(jù)本地性，基于數(shù)據(jù)本地性對任務執(zhí)行位置進行規(guī)劃。任務調(diào)度階段若有多個候選任務，基于綜合指標函數(shù)對候選任務排序，調(diào)度最靠前的任務。⑷關注集群計算效率的作業(yè)調(diào)度算法。作業(yè)調(diào)度算

6、法規(guī)定了所有提交作業(yè)的執(zhí)行順序。研究主要針對大量突發(fā)性負載模式。這種負載模式下，影響機群計算效率的因素主要包括三個方面：數(shù)據(jù)本地性、負載均衡性、資源使用的流水并行性。若沒有作業(yè)調(diào)度，使全部作業(yè)都可獲得資源，數(shù)據(jù)本地性和負載均衡性很容易保證。這將導致大量作業(yè)惡意爭用共享資源，影響不同類型資源之間的流水并行性。作業(yè)調(diào)度控制了作業(yè)的并行度，進而控制了可調(diào)度的任務規(guī)模，這種情況下很難同時保證數(shù)據(jù)本地性和負載均衡性。針對這種情況，本文首先限制任務