基于MapReduce的多主頁服務(wù)框架研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展以及云存儲技術(shù)的不斷完善,大規(guī)模數(shù)據(jù)的處理機制也發(fā)生了巨大的變化。面對在互聯(lián)網(wǎng)應(yīng)用中每天產(chǎn)生的大規(guī)模數(shù)據(jù),本中心提出了面向雙邊資源整合服務(wù)模式(BIRIS),并引入了第四方服務(wù)平臺—BIRIS-Cloud。本文基于此平臺,提出了一種多主頁服務(wù)框架,該框架基于Hadoop框架的MapReduce編程模型,面對BIRIS-Cloud平臺下的若干個服務(wù)中心提供服務(wù)。在此框架的支持下,該系統(tǒng)支持對來自不同的服務(wù)中心的大規(guī)

2、模數(shù)據(jù)進行組織、存儲以及訪問,為服務(wù)中心的用戶提供了更好的服務(wù)。
　　通過閱讀大量文獻,對大規(guī)模數(shù)據(jù)的組織進行了研究。該平臺采用開源框架Hadoop下的HDFS作為大規(guī)模數(shù)據(jù)的存儲系統(tǒng)。并在此存儲系統(tǒng)的基礎(chǔ)上,對存儲在其中的大規(guī)模數(shù)據(jù)完成索引的建立,把索引文件也存儲在各個節(jié)點上,可以實現(xiàn)對于索引的并發(fā)查找。
　　通過結(jié)合多主頁服務(wù)框架以及存儲的大規(guī)模數(shù)據(jù)的特點,本文對系統(tǒng)的需求進行了分析。多主頁服務(wù)框架旨在為不同的服務(wù)中心提

3、供主頁服務(wù),通過對主頁框架下的主頁模型進行定義,以及解析的形式使多主頁服務(wù)框架的作用得到更好的呈現(xiàn),用戶通過訂閱主頁模型的形式來使這種服務(wù)形式得到最終實現(xiàn)。對大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)在進行存儲時采取的機制也進行了研究,并提出了相應(yīng)的策略,使不同的存儲個體的大規(guī)模的數(shù)據(jù)的存儲需求都能得到較好的滿足。
　　大規(guī)模數(shù)據(jù)如何進行訪問一直是研究的熱點。針對數(shù)據(jù)在HDFS上的存儲形式,本系統(tǒng)采用倒排索引的機制來實現(xiàn)對所需的數(shù)據(jù)建立索引,并在倒排索引