基于三級存儲器的數(shù)據(jù)庫查詢處理技術(shù)研究.pdf

1、日益加劇的競爭迫使企業(yè)必須構(gòu)建能夠迅速、準(zhǔn)確地分析和挖掘行業(yè)信息的數(shù)據(jù)倉庫系統(tǒng)，目前的磁盤存儲器卻無法滿足企業(yè)日益增長的海量信息管理需要，由主存、磁盤和聯(lián)機使用的第三級存儲器構(gòu)成的三級存儲器系統(tǒng)為海量數(shù)據(jù)的管理提供了一種廉價可行的解決方案。然而三級存儲器與磁盤系統(tǒng)的物理特性差異很大，為磁盤存儲器設(shè)計的存儲結(jié)構(gòu)和操作算法無法直接移植到三級存儲器中，需要針對三級存儲器的特點設(shè)計優(yōu)化的存儲結(jié)構(gòu)與高效的關(guān)系操作算法。本文結(jié)合三級存儲器的物理特征

2、與聯(lián)機分析處理應(yīng)用的特點，設(shè)計出了適合管理三級存儲器上海量數(shù)據(jù)的讀優(yōu)化的存儲結(jié)構(gòu)、關(guān)系操作算法和查詢優(yōu)化方法。主要研究成果如下：
　　在三級存儲器上的數(shù)據(jù)組織方面，提出了三級存儲器各存儲層次間的數(shù)據(jù)分布方法、第三級存儲器上針對讀操作優(yōu)化的數(shù)據(jù)組織結(jié)構(gòu)和將數(shù)據(jù)遷移到第三級存儲器時的數(shù)據(jù)預(yù)處理方法。由于三級存儲器各個存儲層次的物理特性存在差異，并且不同數(shù)據(jù)的訪問頻率不同，合理地在三級存儲器上分布數(shù)據(jù)會顯著提高三級存儲器的訪問性能。第三

3、級存儲器中的數(shù)據(jù)主要面向分析型應(yīng)用，針對分析型應(yīng)用的特點提出了數(shù)據(jù)緊縮、聚簇、按列方式的數(shù)據(jù)存儲、引入多個關(guān)系副本等一系列方法，每種方法針對不同類型的查詢。通過選擇合適的數(shù)據(jù)組織方法，可以顯著提高從第三級存儲器訪問數(shù)據(jù)的效率。數(shù)據(jù)從磁盤遷移到第三級存儲器之前，通過預(yù)排序、代理信息抽取、聚集的預(yù)計算等一系列方法，顯著地提高查詢執(zhí)行效率。通過在磁盤中保存必要的代理信息，使一部分查詢可以在磁盤上直接得到回答。
　　在基于三級存儲器的關(guān)系

4、操作算法方面，重點研究了三級存儲器上的非阻塞連接算法和基于屬性分離的連接算法。設(shè)計與實現(xiàn)了兩種盡早產(chǎn)生連接結(jié)果的非阻塞式連接算法CDT-PH和CDT-Merge。傳統(tǒng)的連接操作是阻塞式操作，需要對磁盤中的數(shù)據(jù)進(jìn)行預(yù)處理，然后才能產(chǎn)生第一個連接結(jié)果。阻塞式連接不適用于數(shù)據(jù)可視化等應(yīng)用。非阻塞式連接算法不僅在連接開始的時候就能產(chǎn)生結(jié)果，而且整體性能與目前最高效 CDT-GH性能很相近， CDT-Merge算法的性能甚至高于CDT-GH算法。

5、設(shè)計與實現(xiàn)了基于屬性分離的磁帶-磁帶連接算法ASJ。針對通常磁帶上連接操作具有的數(shù)據(jù)多遍掃描問題和冗余 I/O問題，ASJ算法利用屬性分離技術(shù)、連接索引技術(shù)有效地避免了以上問題。ASJ算法比目前最好的磁帶-磁帶連接算法CTT-GH性能提高很多。該算法最大的優(yōu)點是能夠?qū)⒋艓?磁帶連接算法轉(zhuǎn)變?yōu)榇疟P上的連接算法與磁帶數(shù)據(jù)的一遍掃描操作。
　　在基于三級存儲器的查詢優(yōu)化方面，提出了適用于三級存儲器的代價模型和能夠處理多關(guān)系副本的查詢優(yōu)化

6、算法。傳統(tǒng)的關(guān)系代價模型都是針對磁盤上的關(guān)系操作，不能夠直接用于估算第三級存儲器上的操作代價。提出的代價模型不僅能夠估算第三級存儲器上關(guān)系操作的代價，而且能夠比較磁盤上關(guān)系操作與第三級存儲器上相同關(guān)系操作的代價。提出的查詢優(yōu)化方法不僅能夠為查詢中的關(guān)系操作選擇優(yōu)化的執(zhí)行算法，而且能夠為參與查詢的關(guān)系選擇最優(yōu)數(shù)據(jù)組織方式的關(guān)系副本，從而顯著地提高查詢效率。
　　最后基于上述研究成果，設(shè)計與實現(xiàn)了一個數(shù)據(jù)庫原型系統(tǒng) TERMS。TER