基于Spark系統(tǒng)的查詢分析及優(yōu)化研究.pdf

1、當(dāng)前，我們正處在大數(shù)據(jù)時代，信息的爆炸式增長使得傳統(tǒng)的技術(shù)架構(gòu)無法滿足海量數(shù)據(jù)的處理需求，大數(shù)據(jù)平臺的研究與發(fā)展在這種環(huán)境下應(yīng)運而生。Hadoop的誕生使人們開始關(guān)注MapReduce這一計算模式，并且去尋找性能更加好的大數(shù)據(jù)平臺。Spark計算框架通過引入RDD(彈性分布式數(shù)據(jù)集)數(shù)據(jù)模型和基于內(nèi)存的運算模式，使其與Hadoop相比有更好的適用性。
　　Spark大數(shù)據(jù)平臺在關(guān)系查詢的性能方面遠遠高于MapReduce集群，這是

2、因為Spark SQL模塊集成了關(guān)系處理和Spark的功能編程API，在MapReduce集群中無法執(zhí)行的SQL語句和數(shù)據(jù)實時分析在Spark SQL中可以得到很好的執(zhí)行。但伴隨著用戶量和數(shù)據(jù)量的不斷增大，Spark SQL在表間關(guān)聯(lián)查詢中的Join操作性能較差，嚴重影響了Spark的應(yīng)用。
　　首先，本文重點研究基于Spark系統(tǒng)的Spark SQL模塊中的優(yōu)化器Catalyst，探討了優(yōu)化器Catalyst的運行機制，分析了優(yōu)

3、化器Catalyst處理查詢語句的整個過程，并對查詢語句的解析、綁定、優(yōu)化和生成物理計劃等方面進行深入全面的解析。
　　其次，在吸取其他研究者的優(yōu)秀策略以及Spark SQL自身提供的Broadcast Join和Hash Join的基礎(chǔ)之上，針對Spark系統(tǒng)的大表間等值連接操作提出一種基于Partial Bloom Filter的Spark Join優(yōu)化方案，該Spark Join優(yōu)化方案能較好的預(yù)先過濾掉表中大部分不符合連接

4、條件的記錄，使Shuffle階段的數(shù)據(jù)量明顯降低，從而有效地提高大表間等值連接的性能。
　　最后，對本文提出的基于Partial Bloom Filter的Spark Join優(yōu)化方案與SparkSQL自身提供的Hash Join連接操作進行了實驗測試，并對兩種方案的網(wǎng)絡(luò)通信開銷，磁盤I/O開銷，時間消耗等數(shù)據(jù)指標(biāo)進行了分析。實驗結(jié)果表明，本文提出的基于Partial Bloom Filter的Spark Join優(yōu)化方案，通過在