SQL查詢到MapReduce作業(yè)流的翻譯優(yōu)化研究.pdf

1、ResearchOnOptimizationofSQLtoMapreduce●。一_1ranslatorAThesisSubmittedtoSoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYMaXnSupervisedbyAssociateProfessorSongAiboSchoolofComputerScience&EngineeringSoutheastUn

2、iversityNanjingCHINAJune2014摘要摘要隨著電子商務(wù)、社交網(wǎng)絡(luò)以及物聯(lián)網(wǎng)等新一代大規(guī)?；ヂ?lián)網(wǎng)應(yīng)用的快速發(fā)展，企業(yè)需要存儲(chǔ)與處理的數(shù)據(jù)規(guī)模己發(fā)展到TB級(jí)甚至PB級(jí)。云計(jì)算數(shù)據(jù)處理系統(tǒng)Hadoop采用了數(shù)據(jù)并行計(jì)算的思想處理大數(shù)據(jù)，其提供的編程模型MapReduce近年來被廣泛用于企業(yè)信息處理、科學(xué)實(shí)驗(yàn)統(tǒng)計(jì)、生物計(jì)算等領(lǐng)域。使用MapReduce進(jìn)行復(fù)雜數(shù)據(jù)分析處理時(shí)，查詢請(qǐng)求都是通過翻譯工具翻譯成MapReduce

3、作業(yè)流進(jìn)行處理，然而目前通過翻譯工具生成的MapReduce作業(yè)流存在作業(yè)數(shù)量過多，作業(yè)代碼冗長(zhǎng)等問題，導(dǎo)致查詢執(zhí)行效率低下，已經(jīng)不能很好的適應(yīng)人們的需求。本文針對(duì)MapReduce上層的高級(jí)查詢工具存在的問題，對(duì)類SQL查詢到MapReduce作業(yè)流的翻譯優(yōu)化技術(shù)進(jìn)行了研究。本文分析了當(dāng)前MapReduce上層的高級(jí)查詢工具對(duì)查詢語句的翻譯優(yōu)化過程，結(jié)合Hadoop在掃描數(shù)據(jù)時(shí)采用暴力掃描，并且將計(jì)算結(jié)果保存到本地磁盤及HDFS的特性

4、，確定了作業(yè)之間最基礎(chǔ)的輸入數(shù)據(jù)相關(guān)性和前驅(qū)相關(guān)性，根據(jù)作業(yè)相關(guān)性，設(shè)計(jì)了作業(yè)之間的合并規(guī)則，解決了作業(yè)流優(yōu)化中如何判斷作業(yè)是否可以合并以及如何合并的問題，為作業(yè)流優(yōu)化提供支撐。針對(duì)作業(yè)流包含作業(yè)數(shù)量過多、無法快速找出最優(yōu)合并方案的問題，提出了自底向上和自頂向下兩種合并策略，實(shí)現(xiàn)作業(yè)流中作業(yè)的快速合并。同時(shí)本文分析了MapReduce作業(yè)的執(zhí)行過程，建立了計(jì)算作業(yè)執(zhí)行代價(jià)的數(shù)學(xué)模型，解決了預(yù)估作業(yè)流執(zhí)行代價(jià)的問題。最后將合并策略與代價(jià)模

5、型結(jié)合，設(shè)計(jì)了基于代價(jià)的相關(guān)性敏感的作業(yè)合并算法，利用該算法可以在作業(yè)合并時(shí)，選擇執(zhí)行代價(jià)較小的作業(yè)流作為最終的合并結(jié)果，從而保證類SQL查詢被翻譯為高效的作業(yè)流。本文設(shè)計(jì)并開發(fā)了SQLMR系統(tǒng)，實(shí)現(xiàn)上述功能，并搭建了實(shí)驗(yàn)平臺(tái)，通過基準(zhǔn)測(cè)試集TPCH生成測(cè)試數(shù)據(jù)，將SQLMR系統(tǒng)與Hive和YSmart進(jìn)行了性能對(duì)比。實(shí)驗(yàn)結(jié)果表明，SQLMR與Hive、YSmart相比，翻譯得到的作業(yè)流可以有效減少磁盤I／0開銷、網(wǎng)絡(luò)傳輸開銷，具有明顯