面向分布式環(huán)境的數(shù)據(jù)存儲布局與查詢優(yōu)化技術(shù).pdf

1、對于當(dāng)前的海量數(shù)據(jù)分析或處理，數(shù)據(jù)通常存儲在大規(guī)模集群的分布式文件系統(tǒng)(如GFS、HDFS)上。這些文件系統(tǒng)提供了對數(shù)據(jù)的便捷管理、高效訪問以及容錯性和擴(kuò)展性?；贕FS和HDFS的MapReduce編程框架具有簡單、通用的特點(diǎn)，通常應(yīng)用于大規(guī)模數(shù)據(jù)的分析或處理。
　　本文實現(xiàn)了一種在分布式環(huán)境下的數(shù)據(jù)布局策略，將一個集中式與分布式相結(jié)合的兩級索引結(jié)構(gòu)部署在分布式文件系統(tǒng)HDFS上，實現(xiàn)了基于格雷碼的數(shù)據(jù)布局策略，使各類選擇查詢(

2、如部分匹配查詢、多維范圍查詢和多屬性范圍查詢等)的順序訪問的比率大幅提升。另外，對于二元關(guān)系運(yùn)算連接查詢，雖然Hadoop提供了默認(rèn)的關(guān)系連接機(jī)制，但這種方法需要對大量的數(shù)據(jù)進(jìn)行排序和傳輸，將帶來很高的時間代價，而且多個關(guān)系表的連接在Hadoop缺省連接中也不能得到直接支持。因此我們提出了一種全新的非對稱連接策略，不僅能夠與本文實現(xiàn)的數(shù)據(jù)布局策略相兼容，而且避免了Hadoop缺省連接的諸多開銷較大的因素，并能在一個MapReduce作業(yè)