大數(shù)據(jù)環(huán)境下數(shù)據(jù)存儲(chǔ)與查詢的研究.pdf

1、在這個(gè)大數(shù)據(jù)時(shí)代，由于數(shù)據(jù)量的增大使許多原本很簡(jiǎn)單的數(shù)據(jù)操作都變得很難。如何去分析處理海量的數(shù)據(jù)成為了一個(gè)很有挑戰(zhàn)性的難題。為了解決這個(gè)難題，人們從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)傳輸、數(shù)據(jù)分析上提出了很多新的方法和模型。當(dāng)下最熱門的大數(shù)據(jù)存儲(chǔ)與處理模型是Hadoop和MapReduce，他們被很多產(chǎn)業(yè)界的公司和學(xué)術(shù)界的學(xué)者所研究和認(rèn)同。作為大數(shù)據(jù)處理的一種解決方案，MapReduce確實(shí)能夠解決一些問(wèn)題，但在很多情況下它依舊是不適用的，所以新的解決方案

2、的研究還需要繼續(xù)。
　　我們主要是基于CMD存儲(chǔ)模型來(lái)做大數(shù)據(jù)存儲(chǔ)與查詢的探索。傳統(tǒng)CMD存儲(chǔ)模型是基于單機(jī)多磁盤的，它已無(wú)法適應(yīng)當(dāng)前數(shù)據(jù)庫(kù)領(lǐng)域所面臨的挑戰(zhàn)。我們第一次將CMD擴(kuò)展到了分布式環(huán)境下，在集群上建立CMD存儲(chǔ)方案，并通過(guò)它解決了大數(shù)據(jù)量的多路不等值連接操作問(wèn)題，設(shè)計(jì)了全新的圖數(shù)據(jù)存儲(chǔ)模型，并對(duì)CMD在高維數(shù)據(jù)與大規(guī)模分布式集群上遇到的難題做了一定的優(yōu)化。
　　對(duì)于普通的關(guān)系數(shù)據(jù)，我們并設(shè)計(jì)了基于CMD的多路不等值

3、連接操作這一新的分布式連接操作算法,并與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)和Hadoop分布式并行計(jì)算環(huán)境進(jìn)行了效率對(duì)比。因?yàn)樵撍惴ǔ浞掷昧薈MD存儲(chǔ)方法對(duì)各屬性的索引，所以在效率上要比關(guān)系型數(shù)據(jù)庫(kù)和Hadoop分布式環(huán)境高很多，是解決大數(shù)據(jù)量的多路不等值連接操作的有效方案。
　　對(duì)于圖數(shù)據(jù)，我們也將其轉(zhuǎn)化成CMD能夠存儲(chǔ)的數(shù)據(jù)格式，并對(duì)其可行性與效率做了一定探索，給出了基于CMD存儲(chǔ)方案的圖數(shù)據(jù)存儲(chǔ)方法與基本操作。這是一個(gè)全新的圖數(shù)據(jù)存儲(chǔ)模型，