基于CPU-GPU架構的列存儲系統(tǒng)并行查詢與優(yōu)化.pdf

1、隨著業(yè)務數據的積累，特別是網絡數據的快速增長，利用科學的手段快速處理數據，從多個不同的角度分析數據的需求不斷增長。多核CPU，以及多核CPU集成GPU硬件架構的出現(xiàn)為快速處理數據提供了新的可能。特別是，將CPU-GPU架構和讀優(yōu)先的列存儲數據倉庫技術相結合可極大地提高查詢處理的速度。
　　列存儲數據倉庫技術主要關注數據的查詢與分析，而數據的查詢分析操作一般表現(xiàn)為在多表之間的連接操作基礎上對結果集進行分組聚集等操作。因此，表連接和聚

2、集操作成為了影響OLAP性能的兩個重要因素。而另一方面，硬件架構的發(fā)展為多表連接和分組聚集的性能提升提供了新的可能。目前針對單機上的并行查詢處理研究主要分為三類：單機多核并行查詢處理、GPU并行查詢處理以及CPU和GPU協(xié)同并行查詢處理?，F(xiàn)有研究存在如下幾點缺陷：基于行存儲的數據劃分策略，以元組作為基本處理單位，當出現(xiàn)多表連接時，表存在多個外鍵，需按照一定的規(guī)則選擇主劃分屬性和輔助劃分屬性?，F(xiàn)有數據劃分策略難以直接應用于異構平臺列存儲系

3、統(tǒng)中，需要根據硬件特點對其重新設計。此外，CPU和GPU之間細粒度的并行策略，主要通過將任務進行劃分，并未考慮充分CPU和GPU的利用率。因此，CPU和GPU某方負載過高而另一方負載過低的不平衡現(xiàn)象頻繁出現(xiàn)，極大地影響了協(xié)同執(zhí)行的效率。為此，本文研究了異構平臺上的數據劃分策略和任務分配模型，并將之有效地融入列存儲數據倉庫，然后設計并實現(xiàn)了混合并行查詢引擎。本文的具體研究工作如下：
　　1.針對列存儲系統(tǒng)按列存儲數據，相鄰數據具有較

4、高相似性的特點，設計了硬件敏感的ICMD數據劃分策略。同時，設計了一個任務分配模型，分配并動態(tài)調整CPU和GPU的任務負載。
　　2.論文深入研究了列存儲數據庫查詢引擎的結構設計，結合CPU-GPU架構的特點設計并實現(xiàn)了一個混合并行查詢引擎。
　　3.基于異構平臺數據傳輸的特點，本文提出了一種查詢優(yōu)化策略。通過重寫查詢執(zhí)行計劃，合并CPU和GPU處理器之間的數據傳輸，使查詢性能得到了進一步的提高。
　　4.最后，本文在

5、我們實驗室研制的列存儲數據倉庫系統(tǒng)DWMS中具體實現(xiàn)了上述各項技術，并以SSB基準數據集為測試數據進行了測試。通過查詢性能的對比實驗，驗證了數據劃分策略、任務分配模型及混合查詢的有效性。實驗結果表明：基于HPQE混合查詢引擎的數據倉庫復雜查詢性能相比于DWMS提升了23％，相比于基于GPU查詢引擎-Ocelot的數據倉庫提升了18%；結合執(zhí)行計劃優(yōu)化策略和HPQE混合查詢引擎的數據倉庫復雜查詢性能相比于DWMS提升了87%，相比于基于G