云平臺分布式索引研究及其應(yīng)用.pdf

1、目前在基于MapReduce框架的分布式數(shù)據(jù)倉庫中,對于范圍查詢無論最終需要的數(shù)據(jù)量大小都需要將整個數(shù)據(jù)集進行遍歷,導(dǎo)致浪費了很多I/O開銷。
　　本文展示了一種基于樹的索引方案,它能對云平臺中的大數(shù)據(jù)集提供高效的索引構(gòu)建和查詢服務(wù),它結(jié)合并擴展了分布式系統(tǒng)的特性,使其成為一個分布式索引系統(tǒng)。本系統(tǒng)主要是針對云平臺中的數(shù)據(jù)倉庫進行構(gòu)建的,在設(shè)計與實現(xiàn)方面取得了以下階段性成果。
　　首先,我們將傳統(tǒng)的非分布式樹形索引應(yīng)用到分布

2、式系統(tǒng)中,充分結(jié)合了樹形索引在數(shù)據(jù)查詢中的高效性和分布式系統(tǒng)強大的計算能力和存儲能力,使C-index在大規(guī)模數(shù)據(jù)集的處理中發(fā)揮了強大的作用。其次,為了減少系統(tǒng)I/O開銷,我們修改了索引的存儲結(jié)構(gòu),使它能夠適合分布式存儲系統(tǒng)的需求。這些修改包括了樹節(jié)點的結(jié)構(gòu)和文件存儲結(jié)構(gòu),使C-index能夠使用更少的I/O操作去獲得需要的數(shù)據(jù)。為了進一步提高系統(tǒng)性能,我們把緩存的優(yōu)化機制加入到C-index中,在一定程度上有效的減少了I/O時間。最后