海量數(shù)據(jù)存儲(chǔ)模式的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和數(shù)字時(shí)代的到來，數(shù)據(jù)量呈現(xiàn)出TB級(jí)速度增長(zhǎng)的趨勢(shì)，企業(yè)的存儲(chǔ)系統(tǒng)面臨著嚴(yán)峻的挑戰(zhàn)，而數(shù)據(jù)存儲(chǔ)也逐漸成為制約企業(yè)發(fā)展的瓶頸。為解決這一問題，越來越多的企業(yè)把數(shù)據(jù)存儲(chǔ)分離出來，單獨(dú)研究和發(fā)展，希望尋求一個(gè)既能高效存儲(chǔ)企業(yè)日益增長(zhǎng)的數(shù)據(jù)，又具有高可靠性、高擴(kuò)展性以及低成本等特點(diǎn)的數(shù)據(jù)存儲(chǔ)方案。
　　 云存儲(chǔ)作為云計(jì)算的存儲(chǔ)支持，可以將網(wǎng)絡(luò)中大量的存儲(chǔ)設(shè)備集合起來協(xié)同工作，共同提供存儲(chǔ)服務(wù)。云存儲(chǔ)從一出現(xiàn)就得到了許

2、多企業(yè)的支持，不斷被應(yīng)用和研究，趨向成熟的云存儲(chǔ)方案如果應(yīng)用在有海量數(shù)據(jù)存儲(chǔ)需求的企業(yè)內(nèi)部，將具有較高的可行性。
　　 本文的研究?jī)?nèi)容是基于HDFS的海量數(shù)據(jù)存儲(chǔ)架構(gòu)的研究，旨在通過對(duì)成熟數(shù)據(jù)存儲(chǔ)架構(gòu)的研究，尋求能構(gòu)建一個(gè)能解決企業(yè)海量數(shù)據(jù)存儲(chǔ)問題的存儲(chǔ)系統(tǒng)。通過構(gòu)建一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)，解決企業(yè)的存儲(chǔ)問題。Hadoop分布式文件系統(tǒng)是對(duì)Google存儲(chǔ)技術(shù)GFS的開源實(shí)現(xiàn)，具有高可靠性、高容災(zāi)性和易擴(kuò)展等特點(diǎn)，基于分布式的廉價(jià)存儲(chǔ)

3、設(shè)備，降低了企業(yè)成本，并且實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)。
　　 本文首先描述了傳統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)的相關(guān)知識(shí)，并就應(yīng)用范圍進(jìn)行分析，找出傳統(tǒng)架構(gòu)不能解決現(xiàn)代企業(yè)存儲(chǔ)問題的原因；之后介紹了云存儲(chǔ)出現(xiàn)的背景、系統(tǒng)結(jié)構(gòu)，并對(duì)Google的云存儲(chǔ)技術(shù)進(jìn)行了分析，了解GFS的功能結(jié)構(gòu)、組成部分、存儲(chǔ)機(jī)制和數(shù)據(jù)管理策略；接著，在Google云存儲(chǔ)的研究基礎(chǔ)之上，進(jìn)一步研究了其開源實(shí)現(xiàn)HDFS，重點(diǎn)分析了HDFS存儲(chǔ)結(jié)構(gòu)、組成部分的功能特性，對(duì)其的存儲(chǔ)原理

4、、數(shù)據(jù)通信機(jī)制與實(shí)現(xiàn)技術(shù)進(jìn)行了詳細(xì)闡述，為論文下一步的研究提供了技術(shù)支持：最后，基于以上的研究，構(gòu)建了一個(gè)基于HDFS的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，并對(duì)系統(tǒng)的結(jié)構(gòu)、實(shí)現(xiàn)原理、流程以及系統(tǒng)可行性進(jìn)行了分析。
　　 本文主要構(gòu)建了一個(gè)基于HDFS的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，為解決企業(yè)海量數(shù)據(jù)存儲(chǔ)，構(gòu)建基于云存儲(chǔ)的私有存儲(chǔ)系統(tǒng)，提供了一個(gè)有效的解決方案。同時(shí)，在該方案中，為達(dá)到企業(yè)和HDFS架構(gòu)的充分融合，解決HDFS存儲(chǔ)小文件效率低下的問題，對(duì)架構(gòu)進(jìn)