大數據環(huán)境下數據存儲與查詢的研究.pdf

1、在這個大數據時代，由于數據量的增大使許多原本很簡單的數據操作都變得很難。如何去分析處理海量的數據成為了一個很有挑戰(zhàn)性的難題。為了解決這個難題，人們從數據存儲、數據傳輸、數據分析上提出了很多新的方法和模型。當下最熱門的大數據存儲與處理模型是Hadoop和MapReduce，他們被很多產業(yè)界的公司和學術界的學者所研究和認同。作為大數據處理的一種解決方案，MapReduce確實能夠解決一些問題，但在很多情況下它依舊是不適用的，所以新的解決方案

2、的研究還需要繼續(xù)。
　　我們主要是基于CMD存儲模型來做大數據存儲與查詢的探索。傳統CMD存儲模型是基于單機多磁盤的，它已無法適應當前數據庫領域所面臨的挑戰(zhàn)。我們第一次將CMD擴展到了分布式環(huán)境下，在集群上建立CMD存儲方案，并通過它解決了大數據量的多路不等值連接操作問題，設計了全新的圖數據存儲模型，并對CMD在高維數據與大規(guī)模分布式集群上遇到的難題做了一定的優(yōu)化。
　　對于普通的關系數據，我們并設計了基于CMD的多路不等值

3、連接操作這一新的分布式連接操作算法,并與傳統關系型數據庫和Hadoop分布式并行計算環(huán)境進行了效率對比。因為該算法充分利用了CMD存儲方法對各屬性的索引，所以在效率上要比關系型數據庫和Hadoop分布式環(huán)境高很多，是解決大數據量的多路不等值連接操作的有效方案。
　　對于圖數據，我們也將其轉化成CMD能夠存儲的數據格式，并對其可行性與效率做了一定探索，給出了基于CMD存儲方案的圖數據存儲方法與基本操作。這是一個全新的圖數據存儲模型，