DWMS中列存儲的研究與實現.pdf

1、數據倉庫作為一種分析型的數據環(huán)境，越來越受到人們的重視。數據倉庫與操作型數據庫環(huán)境相分離。相對于操作型環(huán)境而言，分析型環(huán)境對數據查詢的速度提出了更高的要求。相對于行存儲，列存儲在讀優(yōu)先的分析型環(huán)境中具有明顯的優(yōu)勢。為此早在一年多之前，作者所在實驗室就開始基于列存儲的數據倉庫管理系統的研發(fā)工作。
　　 本文結合實際項目的研發(fā)，研究了數據庫和數據倉庫的數據存儲技術、現有關系數據庫管理系統和數據倉庫管理系統的相關技術，特別是列存儲技術

2、，設計并實現了列存儲數據倉庫的存儲結構和管理功能，包括外部存儲和緩存。在緩存管理方面提出了一種基于雙管理鏈的自適應頁面置換算法——HA算法（Hybrid Adaptive Algorithm）。
　　 首先，本文研究了傳統RDBMS和行存儲DWMS的數據存儲，較詳細地研究了行存儲和列存儲的DB實現方式，特別分析和總結了兩種開源數據庫PostgreSQL和C-Store的數據存儲技術。
　　 在分析已有關系數據庫存儲的基礎

3、上，對基于列存儲的數據倉庫的數據存儲進行了深入的研究，概要地設計了DWMS中列存儲的整體結構和功能模塊，詳細闡述了DWMS中的文件管理器、緩沖區(qū)管理器和訪問方法管理三個部分的設計與實現。DWMS中的數據存儲分為兩個方面：邏輯層次結構和物理層次結構。文件管理器使用分層管理的思想將其分為操作系統文件管理、虛擬文件管理和DWMS文件管理三個部分。虛擬文件管理采用LRU算法淘汰文件句柄、哈希算法查找文件。緩沖區(qū)管理器是整個系統的核心和數據流樞紐

4、。
　　 本文在通用的緩沖區(qū)管理算法的基礎上提出了一種基于雙管理鏈的自適應頁面置換算法——HA算法，該算法是對DMC(2c)算法的改進，它引入動態(tài)置換點，同時，根據缺頁失敗數確定算法的工作鏈，并根據頁面訪問序列的局部特征選擇效率較高的頁面置換策略。實驗結果表明，該算法的缺頁率較改進前可降低近30％。B+樹索引是訪問方法管理的一種重要的索引方式。本文主要介紹了該索引的結構、創(chuàng)建、查找和更新操作。
　　 最后，本文分析了DW

5、MS存儲管理器的性能，并提出了它的代價評估模型。結合該代價評估模型和系統的具體實現，從數據存儲的角度提出了兩個方面的優(yōu)化：存儲結構的優(yōu)化和數據緩沖區(qū)管理的優(yōu)化。具體優(yōu)化的方法有：將數據項中的ROWID存儲在數據塊的頭部信息中，節(jié)省存儲空間；贓塊的設置操作包含在塊管理中，避免數據丟失；將段內包含的區(qū)信息保存在段控制塊中，有利于段內數據掃描；哈希鏈采用雙向鏈表的結構，節(jié)省哈希查找時間和便于更新操作；將數據緩沖區(qū)進行狀態(tài)設置，減少批量數據導入