連接操作在Spark框架上的實現(xiàn)與優(yōu)化.pdf

1、近年來大量出現(xiàn)的智能手機、平板、可穿戴設(shè)備和物聯(lián)網(wǎng)設(shè)備每時每刻都在產(chǎn)生大量的新數(shù)據(jù)，人們進入了一個大數(shù)據(jù)時代。如何有效快速處理這些大規(guī)模、復(fù)雜的數(shù)據(jù)集已經(jīng)成為亟待解決的問題。大數(shù)據(jù)處理平臺通常包含多個重要組件，如存儲、集群調(diào)度、容錯、數(shù)據(jù)處理引擎與計算算法等，其中數(shù)據(jù)處理引擎是核心組件之一。
　　Spark于2009年誕生在AMPLab，與基于I/O的Hadoop相比，其基于內(nèi)存的計算模型在性能上具有極大的優(yōu)勢，在迭代計算方面尤其

2、如此。在Spark核心基礎(chǔ)上形成的Spark Streaming、Spark SQL、MLlib、GraphX、SparkR等組件構(gòu)成了良好的Spark生態(tài)系統(tǒng)。為了支持結(jié)構(gòu)化數(shù)據(jù)處理，Spark SQL組件應(yīng)運而生，它能夠?qū)QL語句轉(zhuǎn)化為以Spark為引擎的作業(yè)并兼容支持Hive。
　　通過廣泛的文獻調(diào)研，在分析了Spark的相關(guān)背景、應(yīng)用與架構(gòu)的基礎(chǔ)上，通過大量的源碼閱讀學(xué)習(xí)和上機實驗對Spark SQL組件的詳細實現(xiàn)做了深

3、入研究，并選定連接操作算法研究作為主要研究內(nèi)容。分析了現(xiàn)有內(nèi)連接、半連接、外連接三類JOIN算法的不足，提出了更加適用于有小表參與的SelectedBroadcastHashOuterJoin算法和支持非等值外連接的SortMergeOuterJoin算法。在有小表參與的連接操作中提出了基于Hash的小表數(shù)據(jù)去重優(yōu)化思想，在大表等值連接操作中提出了基于Bloom Filter的無效數(shù)據(jù)過濾優(yōu)化思想，進行了算法與優(yōu)化的詳細設(shè)計并在Spar

4、k SQL組件中加以實現(xiàn)。
　　在以上工作基礎(chǔ)上，租用阿里云資源，搭建Spark集群平臺，用測試數(shù)據(jù)對算法和優(yōu)化實現(xiàn)的正確性和性能進行了實驗。測試結(jié)果證明，在有較小數(shù)據(jù)表參與的外連接中，SelectedBroadcastHashOuterJoin比現(xiàn)有HashOuterJoin算法提升了約20％的性能；SortMergeOuter在保持了與現(xiàn)有平臺相近性能的基礎(chǔ)上可以有效地支持非等值外連接操作；基于Hash的小表數(shù)據(jù)去重優(yōu)化在小表