海量數(shù)據(jù)壓縮、操作和處理方法的研究.pdf

1、在信息技術(shù)高速發(fā)展的海量信息時(shí)代，海量數(shù)據(jù)管理技術(shù)已經(jīng)成為社會(huì)信息化的迫切任務(wù)。如何有效地存儲(chǔ)和管理海量數(shù)據(jù)并高效地支持海量數(shù)據(jù)上的查詢，對(duì)數(shù)據(jù)庫管理系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。
　　海量數(shù)據(jù)庫被廣泛地應(yīng)用于地震監(jiān)測(cè)、天氣預(yù)報(bào)、物理化學(xué)實(shí)驗(yàn)等實(shí)際應(yīng)用中，如科學(xué)與統(tǒng)計(jì)數(shù)據(jù)庫，其數(shù)據(jù)最大的特點(diǎn)是存在大量的數(shù)據(jù)冗余，即相同的數(shù)據(jù)在不同的地方多次重復(fù)出現(xiàn)。如果對(duì)這種類型的關(guān)系數(shù)據(jù)直接進(jìn)行存儲(chǔ)，不僅浪費(fèi)大量的存儲(chǔ)空間，而且降低了查詢的效率。另外，

2、這類數(shù)據(jù)的模式相對(duì)穩(wěn)定，屬性值域有限，新產(chǎn)生的數(shù)據(jù)只追加到當(dāng)前數(shù)據(jù)末尾而不更新已有內(nèi)容；并且在數(shù)據(jù)上的查詢大多只與眾多屬性中的少數(shù)幾個(gè)相關(guān)。
　　數(shù)據(jù)壓縮技術(shù)與數(shù)據(jù)庫技術(shù)進(jìn)行結(jié)合，對(duì)海量數(shù)據(jù)庫的存儲(chǔ)與查詢進(jìn)行處理，形成了壓縮數(shù)據(jù)庫技術(shù)。壓縮數(shù)據(jù)庫技術(shù)研究的內(nèi)容主要包括數(shù)據(jù)壓縮方法、數(shù)據(jù)操作算法和查詢處理技術(shù)。
　　本文提出了海量數(shù)據(jù)庫中數(shù)據(jù)的壓縮和存儲(chǔ)方法、壓縮數(shù)據(jù)上的數(shù)據(jù)操作算法和查詢處理技術(shù)。
　　本文提出的壓縮算

3、法采用列存儲(chǔ)的思想，使用二進(jìn)制編碼、一元編碼、K-of-N編碼和疊加編碼對(duì)數(shù)據(jù)進(jìn)行壓縮，將屬性對(duì)應(yīng)的編碼數(shù)據(jù)按照編碼位進(jìn)行擴(kuò)展游程編碼存儲(chǔ)。
　　本文提出了壓縮數(shù)據(jù)上無需解壓縮的數(shù)據(jù)操作算法，包括選擇操作和投影操作，將對(duì)原始數(shù)據(jù)的查詢操作轉(zhuǎn)化為對(duì)壓縮數(shù)據(jù)編碼位的操作，簡(jiǎn)化了查詢的實(shí)現(xiàn)。
　　利用上述思想設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)海量數(shù)據(jù)壓縮和查詢?cè)拖到y(tǒng)。理論分析和初步實(shí)驗(yàn)表明，采用列存儲(chǔ)思想對(duì)海量數(shù)據(jù)進(jìn)行壓縮和存儲(chǔ)可以很好地提高存儲(chǔ)