混合存儲(chǔ)下的MapReduce啟發(fā)式多表連接優(yōu)化研究與實(shí)現(xiàn).pdf

1、并行分布式編程框架 MapReduce因其良好的可擴(kuò)展性、高可用性以及高可靠性成為當(dāng)前最流行的海量數(shù)據(jù)處理理論框架，得到了廣泛的關(guān)注和應(yīng)用。然而，由于其自身框架的限制，使得它在執(zhí)行多表連接查詢時(shí)效率非常低，因此提高多表連接執(zhí)行效率成為MapReduce上亟待解決的問題。
　　本文首先闡述了MapReduce下多表連接查詢優(yōu)化的重要意義，并對(duì)MapReduce編程框架及國(guó)內(nèi)外MapReduce上的連接算法和多表連接優(yōu)化的現(xiàn)狀進(jìn)行了分

2、析。在詳細(xì)研究了MapReduce上現(xiàn)有的三種多表連接方法-多個(gè)兩兩連接、Replicated Join、分組連接(Grouping Join)的設(shè)計(jì)思路和不足的基礎(chǔ)上，提出了一種新的MapReduce多表連接優(yōu)化策略，為不同的多表連接模型自適應(yīng)的推薦不同的連接優(yōu)化策略，旨在消耗代價(jià)最小的同時(shí)生成一個(gè)較優(yōu)的多表連接執(zhí)行計(jì)劃。特別的，對(duì)于混合連接，為了獲得分組后的最優(yōu)執(zhí)行計(jì)劃，本文制定了自己的代價(jià)估計(jì)模型。此外，在上述的優(yōu)化策略下，為了獲

3、得更高的多表連接優(yōu)化效率，本文在以下兩個(gè)方面做了進(jìn)一步優(yōu)化：一是使用了實(shí)時(shí)優(yōu)化的思想，實(shí)時(shí)確定多表連接順序與連接算法，使得準(zhǔn)確度更高；二是采用了新型的基于Page頁(yè)的行列混合PageFile存儲(chǔ)，在避免全表掃描的同時(shí)避免了全列掃描。
　　在此基礎(chǔ)上，本文對(duì)上述提出的多表連接優(yōu)化策略進(jìn)行了詳細(xì)的算法設(shè)計(jì)和實(shí)現(xiàn)，主要包括以下部分：?jiǎn)l(fā)式多表連接優(yōu)化模塊、混合連接優(yōu)化模塊、代價(jià)估計(jì)模型、實(shí)時(shí)優(yōu)化模型。
　　最后，在搭建的物理Had