基于hadoop技術(shù)云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和應(yīng)用導(dǎo)致電子信息出現(xiàn)爆炸性增長(zhǎng)，如何有效存儲(chǔ)和管理海量電子信息是現(xiàn)代IT行業(yè)面臨的一大挑戰(zhàn)。傳統(tǒng)存儲(chǔ)方案由于存儲(chǔ)設(shè)備單一、易用性差、不易擴(kuò)展等原因不能很好解決海量數(shù)據(jù)的存儲(chǔ)和管理問題，云儲(chǔ)存技術(shù)的出現(xiàn)為海量數(shù)據(jù)處理提供了解決手段。云存儲(chǔ)與傳統(tǒng)的存儲(chǔ)介質(zhì)相比較，它具有高訪問量、高可擴(kuò)展性、低成本等優(yōu)勢(shì)，可以為海量的數(shù)據(jù)提供較好的存儲(chǔ)、容災(zāi)備份等服務(wù)。云存儲(chǔ)技術(shù)正受到業(yè)界的關(guān)注并已經(jīng)成為研究熱點(diǎn)。
　　針對(duì)企業(yè)在

2、電子辦公過程中產(chǎn)生的海量數(shù)據(jù)的存儲(chǔ)難題，本課題重點(diǎn)研究云存儲(chǔ)相關(guān)技術(shù)，旨在基于開源云計(jì)算框架Hadoop技術(shù)構(gòu)建一個(gè)云存儲(chǔ)方案以解決電子文件的管理和存儲(chǔ)問題。本文的研究工作主要有以下幾方面的內(nèi)容:
　　(1)總結(jié)國(guó)內(nèi)外云存儲(chǔ)技術(shù)發(fā)展的前沿成果和應(yīng)用，分析介紹云計(jì)算技術(shù)的概念、特點(diǎn)和云存儲(chǔ)技術(shù)的概念、模型框架和存儲(chǔ)架構(gòu)，以及說明云存儲(chǔ)與云計(jì)算的關(guān)系。
　　(2)分析了Hadoop技術(shù)的三大核心組成，包括HDFS分布式文件系統(tǒng)、

3、MapReduce并行處理框架、HBase分布式數(shù)據(jù)庫(kù)。通過介紹HDFS的設(shè)計(jì)理念及其體系結(jié)構(gòu)、MapReduce處理邏輯模型及其實(shí)現(xiàn)機(jī)制、以及HBase的邏輯和物理模型特點(diǎn)為進(jìn)一步的研究奠定理論基礎(chǔ)。
　　(3)在分析了HDFS針對(duì)海量小文件存儲(chǔ)性能低下的問題和它自身提供的三種解決方案的優(yōu)缺點(diǎn)后，提出一個(gè)有效處理小文件的方案。研究了利用MapReduce為云存儲(chǔ)系統(tǒng)上的文件建立倒排索引的流程，并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證了其可行性，為云存儲(chǔ)系

4、統(tǒng)的構(gòu)建奠定了基礎(chǔ)。
　　(4)在對(duì)電子文件管理系統(tǒng)的業(yè)務(wù)需求理解分析之后，基于Hadoop三大核心技術(shù)對(duì)云存儲(chǔ)體系結(jié)構(gòu)、功能模塊、數(shù)據(jù)庫(kù)及運(yùn)行環(huán)境進(jìn)行設(shè)計(jì)，構(gòu)建了一個(gè)云存儲(chǔ)服務(wù)系統(tǒng)，為海量大規(guī)模數(shù)據(jù)的存儲(chǔ)和處理提供了有效解決方案。最后，采用MVC架構(gòu)、Java語言、ExtJS和Spring等技術(shù)框架實(shí)現(xiàn)了此云存儲(chǔ)系統(tǒng)。
　　本課題基于Hadoop技術(shù)構(gòu)建的云存儲(chǔ)服務(wù)系統(tǒng)與傳統(tǒng)存儲(chǔ)設(shè)備相比，具有可靠性高、成本低、可擴(kuò)展性好、