科學(xué)與統(tǒng)計(jì)數(shù)據(jù)庫(kù)壓縮與查詢處理方法的研究.pdf

1、在信息量呈指數(shù)級(jí)增長(zhǎng)的今天，我們需要數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）能夠處理上G、上T、甚至上P的海量數(shù)據(jù)。這就對(duì)數(shù)據(jù)庫(kù)管理系統(tǒng)提出了挑戰(zhàn)，即如何有效地存儲(chǔ)和管理海量數(shù)據(jù)并高效的支持上層的查詢。
　　海量科學(xué)與統(tǒng)計(jì)數(shù)據(jù)（例如：地震監(jiān)測(cè)、天氣預(yù)報(bào)、物理化學(xué)實(shí)驗(yàn)等數(shù)據(jù)）中存在著大量的數(shù)據(jù)冗余，即相同的數(shù)據(jù)會(huì)在不同的地方多次重復(fù)出現(xiàn)，這不僅浪費(fèi)了存儲(chǔ)空間，而且降低了查詢效率。壓縮技術(shù)由于節(jié)省存儲(chǔ)空間和I/O帶寬而被廣泛應(yīng)用于數(shù)據(jù)的存儲(chǔ)和傳輸中

2、。正是海量數(shù)據(jù)的出現(xiàn)，使得壓縮技術(shù)與數(shù)據(jù)庫(kù)技術(shù)結(jié)合了起來(lái)，產(chǎn)生了壓縮數(shù)據(jù)庫(kù)技術(shù)。壓縮數(shù)據(jù)庫(kù)技術(shù)的研究?jī)?nèi)容包括數(shù)據(jù)壓縮算法及壓縮數(shù)據(jù)上的查詢算法。
　　科學(xué)與統(tǒng)計(jì)數(shù)據(jù)庫(kù)(ScientificandStatisticalDatabase,SSDB)具有如下特點(diǎn)：（1）關(guān)系的模式穩(wěn)定、屬性值的值域有限、數(shù)據(jù)冗余大；（2）新產(chǎn)生的數(shù)據(jù)只追加到當(dāng)前數(shù)據(jù)末尾而不更新已有內(nèi)容；（3）每個(gè)關(guān)系都由大量屬性組成，但大多數(shù)查詢只與少數(shù)幾個(gè)屬性相關(guān)且多

3、為只讀操作。上述特征都適合于將壓縮數(shù)據(jù)庫(kù)技術(shù)集成到SSDB中去。因此，本文的研究?jī)?nèi)容包括：
　　研究適合于科學(xué)與統(tǒng)計(jì)數(shù)據(jù)庫(kù)的數(shù)據(jù)壓縮算法及存儲(chǔ)結(jié)構(gòu)；研究在壓縮科學(xué)與統(tǒng)計(jì)數(shù)據(jù)庫(kù)上的查詢處理技術(shù)，包括數(shù)據(jù)操作算法和查詢優(yōu)化算法。
　　本文的主要研究結(jié)果如下：
　　提出了適合科學(xué)與統(tǒng)計(jì)數(shù)據(jù)庫(kù)的兩種數(shù)據(jù)壓縮存儲(chǔ)策略，其分別為CCSS(Column-CompressedStorageSystem)和RCSS(Row-Compre

4、ssedStorageSystem)。CCSS是一個(gè)按列壓縮存儲(chǔ)系統(tǒng)，它采用不同的存儲(chǔ)結(jié)構(gòu)和編碼，以不同粒度對(duì)關(guān)系中的屬性按列存儲(chǔ)并壓縮，從而將對(duì)原始數(shù)據(jù)的查詢操作轉(zhuǎn)換為對(duì)（壓縮）數(shù)據(jù)的操作，實(shí)現(xiàn)不解壓直接查詢，簡(jiǎn)化了查詢實(shí)現(xiàn)。RCSS是一個(gè)基于字典壓縮的按行存儲(chǔ)系統(tǒng)。本文詳細(xì)介紹了RCSS的壓縮存儲(chǔ)結(jié)構(gòu)（包括編碼字典和壓縮數(shù)據(jù)頁(yè)的格式、系統(tǒng)字典的擴(kuò)充）以及具體的壓縮、插入和刪除算法。RCSS與非壓縮數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)提供相同的接口，可以在

5、維持現(xiàn)有系統(tǒng)上層模塊（索引、查詢處理等）不變的情況下，實(shí)現(xiàn)壓縮技術(shù)與數(shù)據(jù)庫(kù)系統(tǒng)的有效結(jié)合。RCSS的壓縮方法具有簡(jiǎn)單、通用的特點(diǎn)，理論分析表明RCSS壓縮的有效性；
　　針對(duì)CCSS這種存儲(chǔ)策略，給出了相應(yīng)的數(shù)據(jù)操作算法，包括選擇、投影和連接；
　　給出了CCSS上查詢的優(yōu)化策略；
　　利用上述思想設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)壓縮科學(xué)與統(tǒng)計(jì)數(shù)據(jù)庫(kù)原型系統(tǒng)My_SSDB。理論分析和初步實(shí)驗(yàn)表明，通過(guò)壓縮和以不同粒度按列存儲(chǔ)，系統(tǒng)能夠