基于hadoop 的數(shù)據(jù)存儲(chǔ)系統(tǒng)的分析和設(shè)計(jì)

1、基于Hadoop的數(shù)據(jù)存儲(chǔ)系統(tǒng)的分析和設(shè)計(jì)【摘要】隨著科技的不斷進(jìn)步，在物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等發(fā)展的推動(dòng)下，數(shù)據(jù)發(fā)生了“大爆炸”，其規(guī)模呈幾何級(jí)上升，“開采”大數(shù)據(jù)（BigData）以挖掘其內(nèi)部蘊(yùn)藏的“富礦”成為研究焦點(diǎn)。Hadoop是一個(gè)用于構(gòu)建云平臺(tái)的Apache開源項(xiàng)目，使用Hadoop框架有利于我們方便、快速的實(shí)現(xiàn)計(jì)算機(jī)集群。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS（分布式文件系統(tǒng)）和MapReduce。HDFS為海量

2、的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。本文結(jié)合傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)提出了一個(gè)易擴(kuò)展的高效的基于Hadoop的數(shù)據(jù)存儲(chǔ)系統(tǒng)?！娟P(guān)鍵詞】數(shù)據(jù)挖掘，Hadoop1引言1.1數(shù)據(jù)挖掘技術(shù)概述數(shù)據(jù)挖掘出現(xiàn)于20世紀(jì)80年代后期，90年代有了突飛猛進(jìn)的發(fā)展，并在進(jìn)入21世紀(jì)后繼續(xù)繁榮。隨著科技的不斷進(jìn)步，在物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等發(fā)展的推動(dòng)下，數(shù)據(jù)發(fā)生了“大爆炸”，其規(guī)模呈幾何級(jí)上升。如何將這些海量的、復(fù)雜的數(shù)據(jù)轉(zhuǎn)化成人類

3、可理解的、有用的知識(shí)，從而指導(dǎo)我們的決策正成為目前面臨的重要的問題。如今，隨著云計(jì)算的出現(xiàn)和發(fā)展，數(shù)據(jù)挖掘技術(shù)迎來了新的機(jī)遇和挑戰(zhàn)。現(xiàn)在的基于云計(jì)算的并行數(shù)據(jù)挖掘與服務(wù)的模式。數(shù)據(jù)挖掘的算法可以分布在多個(gè)節(jié)點(diǎn)上，并且這些算法之間是并行的。在進(jìn)行數(shù)據(jù)挖作。系統(tǒng)采用MVC三層架構(gòu)設(shè)計(jì)使結(jié)構(gòu)更加清晰，系統(tǒng)易于擴(kuò)展。在底層，使用Hadoop來存儲(chǔ)、分析和處理巨大的數(shù)據(jù)量，而在高層通過接口直接透明的調(diào)用底層的計(jì)算和存儲(chǔ)能力。在整個(gè)系統(tǒng)中，我們可以

4、使用HDFS來存儲(chǔ)文件和數(shù)據(jù)。HDFS具有很高的數(shù)據(jù)吞吐量，并且很好的實(shí)現(xiàn)了容錯(cuò)機(jī)制。HDFS提供了多種訪問接口，包括API以及各種操作命令。使用HDFS，我們可以為原始的大數(shù)據(jù)集提供存儲(chǔ)空間，對(duì)臨時(shí)文件進(jìn)行存儲(chǔ)，為數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘過程提供輸入數(shù)據(jù)，同時(shí)輸出數(shù)據(jù)我們也保存在HDFS中。系統(tǒng)整體架構(gòu)如圖1所示。2.2系統(tǒng)結(jié)構(gòu)模型結(jié)合以上的基本設(shè)計(jì)思想以及典型的數(shù)據(jù)挖掘系統(tǒng)模型，采用分層的思想，自頂向下每層都透明的調(diào)用下層接口，最頂層為