基于列存儲的數(shù)據(jù)復用研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的興起與飛速發(fā)展，大量的信息迎面而來，如何用科學的方法整理數(shù)據(jù)，從而從不同的視角對各方面信息進行準確判斷，比以往更為迫切，更受關(guān)注。數(shù)據(jù)倉庫作為數(shù)據(jù)集成的框架之一，是解決大數(shù)據(jù)環(huán)境下分析型應用問題的有效手段。數(shù)據(jù)集成中不同數(shù)據(jù)集之間存在較大的冗余，需要的存儲較多，對查詢響應速度的影響也較大。數(shù)據(jù)倉庫往往需要采用數(shù)據(jù)復用策略使得分析大量數(shù)據(jù)的成本趨于合理。
　　在傳統(tǒng)的關(guān)系型數(shù)據(jù)倉庫中，數(shù)據(jù)均是按行存儲的。遺憾的是，由于不

2、同數(shù)據(jù)集中關(guān)系表的模式在存儲層次上往往不相同，彼此之間的冗余度很小，導致按行存儲的數(shù)據(jù)存儲方式并不利于數(shù)據(jù)復用的實現(xiàn)。列存儲數(shù)據(jù)倉庫中，操作的對象變?yōu)榱校瑢傩灾g的冗余度較大，從而消除了行存儲數(shù)據(jù)倉庫在數(shù)據(jù)復用領(lǐng)域的不利條件。為此，本文對如何將數(shù)據(jù)復用有效地融入到列存儲數(shù)據(jù)倉庫中進行了研究。
　　1.首先，論文闡述了海量數(shù)據(jù)環(huán)境下數(shù)據(jù)復用的重要意義，并對數(shù)據(jù)復用技術(shù)的發(fā)展歷程和國內(nèi)外列存儲數(shù)據(jù)倉庫中關(guān)于數(shù)據(jù)復用的現(xiàn)狀進行了分析，總

3、結(jié)了它們的特征和不足之處。
　　2.然后，論文對列存儲數(shù)據(jù)倉庫中數(shù)據(jù)復用的核心元素進行了簡單地介紹，其中包括數(shù)據(jù)復用策略的概述，可復用數(shù)據(jù)的定義，查詢結(jié)果的等價原則等。
　　3.隨后，本文深入研究了列存儲數(shù)據(jù)復用策略的結(jié)構(gòu)設計，其數(shù)據(jù)復用策略主要由候選可復用數(shù)據(jù)發(fā)掘模塊、可復用數(shù)據(jù)篩選模塊、基于存儲的數(shù)據(jù)復用實現(xiàn)模塊和基于可復用數(shù)據(jù)的查詢執(zhí)行模塊四個模塊組成。其中，候選可復用數(shù)據(jù)發(fā)掘模塊描述了海量數(shù)據(jù)中利用CM模式匹配算法快

4、速尋找候選映射關(guān)系的合理方案;可復用數(shù)據(jù)篩選模塊則根據(jù)映候選映射關(guān)系對屬性值進行逐一匹配，得到確定的可復用數(shù)據(jù)，這是數(shù)據(jù)復用實現(xiàn)的必要保證;基于存儲的數(shù)據(jù)復用實現(xiàn)模塊則封裝了具體復用的細節(jié)，并負責對外提供數(shù)據(jù)訪問的統(tǒng)一接口;查詢執(zhí)行模塊對傳統(tǒng)查詢執(zhí)行流程進行了相應的改進，從而了在可復用數(shù)據(jù)的基礎(chǔ)上實現(xiàn)SQL語句的直接查詢。
　　4.最后，本文以DWMS為平臺，分別以真實數(shù)據(jù)集和基準數(shù)據(jù)集為測試數(shù)據(jù)，具體實現(xiàn)了上述各項關(guān)鍵技術(shù)。通過