云環(huán)境下基于MapReduce的查詢優(yōu)化系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著數(shù)據(jù)大爆炸時(shí)代的到來，大數(shù)據(jù)業(yè)已成為信息領(lǐng)域的一大研究熱點(diǎn)。目前已有不少云計(jì)算環(huán)境下基于MapReduce模型的分布式處理系統(tǒng)可以有效提供高效的大數(shù)據(jù)查詢處理方案（例如，Hadoop、Hive、Pig等），同時(shí)可獲得良好的擴(kuò)展性、容錯(cuò)性和較高的性價(jià)比。然而，當(dāng)前基于MapReduce實(shí)現(xiàn)的查詢往往使用粗獷的批處理模式，優(yōu)化方式相對單一，且大多針對單查詢進(jìn)行詞法、語法分析，或從操作符順序的角度設(shè)計(jì)優(yōu)化算法，而忽視了查詢本身的特性和多查

2、詢之間可能存在的數(shù)據(jù)依賴或復(fù)用關(guān)系，進(jìn)而產(chǎn)生大量的冗余計(jì)算，影響查詢執(zhí)行效率。此外，現(xiàn)有的查詢處理技術(shù)大多以減少M(fèi)apReduce作業(yè)數(shù)量為優(yōu)化目標(biāo)，單純通過合并MapReduce作業(yè)實(shí)現(xiàn)查詢優(yōu)化，而往往忽視了MapReduce作業(yè)實(shí)際的執(zhí)行代價(jià)，從而影響了查詢整體性能。
　　基于此，為進(jìn)一步提升基于MapReduce框架的大數(shù)據(jù)查詢處理性能，本文提出了一種云環(huán)境下基于MapReduce的多查詢優(yōu)化框架(Multi-Q)，從基于多

3、查詢依賴關(guān)系的查詢結(jié)果復(fù)用與基于MapReduce執(zhí)行代價(jià)估計(jì)的查詢結(jié)構(gòu)復(fù)用兩個(gè)方面入手，研究相關(guān)機(jī)制及算法，以查詢結(jié)果復(fù)用和查詢結(jié)構(gòu)復(fù)用的混合優(yōu)化模式，實(shí)現(xiàn)上層查詢應(yīng)用向MapReduce作業(yè)的高效轉(zhuǎn)換，降低MapReduce作業(yè)執(zhí)行代價(jià)，提高整體查詢性能。具體地，在查詢結(jié)果復(fù)用部分，首先提出了一種基于聚類的劃分算法(CPA)實(shí)現(xiàn)對于查詢空間的邏輯劃分，進(jìn)而基于查詢空間劃分結(jié)果設(shè)計(jì)并建立多查詢復(fù)用關(guān)系圖（MRDG），用來描述多查詢間的

4、依賴關(guān)系。最后，提出一種基于多查詢復(fù)用關(guān)系圖的多查詢處理算法，從而實(shí)現(xiàn)多查詢結(jié)果復(fù)用，減少冗余計(jì)算。而在查詢結(jié)構(gòu)復(fù)用部分，首先建立了基于MapReduce的執(zhí)行代價(jià)模型，用于評估MapReduce作業(yè)的執(zhí)行開銷，進(jìn)而根據(jù)代價(jià)模型，建立了最優(yōu)查詢子結(jié)構(gòu)庫，并在此基礎(chǔ)上提出了一種基于代價(jià)模型的結(jié)果復(fù)用優(yōu)化算法，將最優(yōu)子結(jié)構(gòu)嵌入執(zhí)行計(jì)劃，從而實(shí)現(xiàn)復(fù)雜查詢結(jié)構(gòu)復(fù)用，優(yōu)化執(zhí)行開銷。基于以上兩種查詢復(fù)用優(yōu)化方法，可以從整體上有效提高云計(jì)算環(huán)境下的查