MapReduce連接算法的優(yōu)化與設(shè)計.pdf

1、MapReduce作為一個并行處理的計算模型，因為其高容錯性，高易用性，以及高擴(kuò)展性在大規(guī)模分布式數(shù)據(jù)處理中得到廣泛的應(yīng)用。MapReduce可以處理關(guān)系數(shù)據(jù)庫中一些操作，像是選擇，聚合，和投影等。但是二元操作中，像是連接，笛卡爾乘積，和集合操作，卻很難在MapReduce中實現(xiàn)。MapReduce是支持的對大規(guī)模單數(shù)據(jù)集的處理。但是，對于多數(shù)據(jù)集的處理，MapReduce去沒有提供相應(yīng)的支持。因此在MapReduce框架中，連接操作一

2、直是沒有有效的實現(xiàn)方式。雖然在Hadoop中提供了實現(xiàn) MapReduce的連接算法，但是這些實現(xiàn)方式連接效率都不高。因此，對于改進(jìn)基于MapReduce連接查詢處理算法成為急需解決的問題。
　　本文首先針對基于MapReduce Reduce Side的二路連接算法的不足提出了一種基于索引的分區(qū)改進(jìn)優(yōu)化算法，優(yōu)化算法的思想是，在進(jìn)行連接之前，將兩個數(shù)據(jù)表按照連接屬性進(jìn)行分區(qū)，再對其中一個較小的表的分區(qū)生成一個索引文件，并存儲到H

3、DFS（Hadoop Distributed File System）上。在Map階段讀入大數(shù)據(jù)集的分片信息，通過對索引文件的搜索，可以找到與當(dāng)前大數(shù)據(jù)集對應(yīng)的小數(shù)據(jù)集的分區(qū)文件，并把它加載到內(nèi)存中，與大數(shù)據(jù)集分片在Map端進(jìn)行連接。從而提高內(nèi)存的利用率。
　　其次，通過MapReduce多表連接的傳統(tǒng)實現(xiàn)算法的缺點的分析，提出了一種改進(jìn)分區(qū)的策略，使key/value對能夠通過改進(jìn)分區(qū)傳送到多個Reduce節(jié)點，從而在滿足條件的