基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)技術(shù)的研究及應(yīng)用.pdf

1、云計(jì)算(Cloud Computing)是在2007年第3季度才誕生的新名詞,但僅僅過了半年多,其就成為當(dāng)今計(jì)算機(jī)界一個(gè)研究熱點(diǎn),業(yè)內(nèi)外人士對(duì)其發(fā)展情況和實(shí)用價(jià)值都表現(xiàn)出非常的關(guān)注。對(duì)于云計(jì)算的研究在各大公司及院校相繼展開。云計(jì)算是一種新興的共享基礎(chǔ)架構(gòu)的方法,最終將成為一種普及性服務(wù)。
　　 云計(jì)算從實(shí)質(zhì)上來說是網(wǎng)格計(jì)算和分布式計(jì)算的延伸?；谶@一點(diǎn),本文分析并比較現(xiàn)有的分布式存儲(chǔ)和計(jì)算技術(shù)等,結(jié)合Hadoop的集群技術(shù)的研究

2、,提出了基于Hadoop的海量數(shù)據(jù)存儲(chǔ)模型,并從數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、功能模塊和編程技術(shù)的使用等幾個(gè)方面來介紹該模型的開發(fā)方法,最后將該模型應(yīng)用于海量數(shù)據(jù)處理(詞頻統(tǒng)計(jì))中。該技術(shù)還可以應(yīng)用在諸多海量數(shù)據(jù)處理領(lǐng)域中,例如:web日志處理、搜索引擎、大規(guī)模文件存儲(chǔ)等。
　　 本課題利用前沿的分布式框架技術(shù),將模型很好地部署到實(shí)例當(dāng)中,與非分布式狀態(tài)運(yùn)行的系統(tǒng)進(jìn)行比較,用實(shí)驗(yàn)來檢驗(yàn)其性能。本課題的特點(diǎn)是將研究的模型與詞頻統(tǒng)計(jì)應(yīng)用相