列存儲DWMS中查詢執(zhí)行的研究與實現.pdf

1、數據倉庫作為信息技術領域一個重要的研究方向，越來越受到人們的重視。早期的數據倉庫，其構建和研究工作都是建立在關系型數據庫管理系統(tǒng)( RDBMS)的基礎之上。隨著數據規(guī)模的不斷擴大，數據倉庫應用要求更高的數據處理性能與之匹配，而基于RDBMS方式構建的數據倉庫不能滿足當前的這種要求。因此實現一個獨立的數據倉庫管理系統(tǒng)(DWMS)已成為數據倉庫技術研究和應用的強烈需求。
　　 在數據倉庫環(huán)境下，相對于行存儲，列存儲具有非常明顯的優(yōu)勢

2、，能夠減少非相關列的讀入，利于數據壓縮和壓縮執(zhí)行，從而提高查詢性能。列存儲DWMS將對數據存儲和查詢帶來一種全新的改變，而基于行存儲的查詢執(zhí)行引擎無法適應底層的列存儲，因此研究和實現基于列存儲的查詢執(zhí)行引擎是必要的，而且能夠更好的挖掘列存儲的性能，進一步提高DWMS的查詢效率。
　　 本文結合實際項目，研究了列存儲查詢執(zhí)行的相關技術，并對其中的某些技術做了相應的優(yōu)化和改進。針對基于rowid的元組重構方法存在組合代價大的缺陷，提

3、出了基于地址映射索引的元組重構，簡稱AMI。通過在數據索引葉子塊中存儲查詢相關的多個列，建立針對數據索引非查找鍵列的地址映射索引，在查詢執(zhí)行時，結合數據索引和地址映射索引返回的地址范圍就可以得到滿足查詢條件的地址集，根據地址集從數據索引中取得相應的數據塊，從而減少了元組重構的開銷，極大程度提高了多列查詢的執(zhí)行效率。針對早期物化存在構造大量不必要的元組以及延遲物化可能導致同一屬性列的某些數據塊被重復抽取的缺陷，提出了帶值路徑物化策略，簡稱

4、VPMS。VPMS使用一個新的中間結果結構傳遞塊，用于將重構的位置信息與實際列值相分離，并根據帶值路徑將路徑起點引用列滿足謂詞條件的位置信息和列值存儲在傳遞塊中，從而避免了同一列的列值被重復抽取。VPMS的物化時機是盡量在中間結果不含無關列值的時候進行元組重構，也即是在WHERE子句中各列經過過濾之后進行元組重構，從而減少了無關元組的構造量。以塊迭代方式代替?zhèn)鹘y(tǒng)的元組迭代來實現物理操作符，減少了執(zhí)行中遞歸的次數和迭代的深度，并提出了執(zhí)行