大數(shù)據(jù)技術(shù)

1、大數(shù)據(jù)大數(shù)據(jù)(bigdatamegadata)，或稱巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。第一，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別。第二，數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。第三，價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程

2、中，可能有用的數(shù)據(jù)僅僅有一兩秒。第四，處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。大數(shù)據(jù)最核心的價(jià)值就是在于對(duì)于海量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析。大數(shù)據(jù)（Bigdata）通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析

3、常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。簡(jiǎn)言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。大的數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，云計(jì)算平臺(tái)，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)，但不是所有的MPP的關(guān)系數(shù)據(jù)庫(kù)的PB的數(shù)據(jù)

4、存儲(chǔ)和管理的能力。隱含的負(fù)載，監(jiān)控，備份和優(yōu)化大型數(shù)據(jù)表的使用在RDBMS的。SOA管理大數(shù)據(jù)SOA的三個(gè)數(shù)據(jù)中心模型分別是數(shù)據(jù)即服務(wù)(DaaS)模型、物理層次結(jié)構(gòu)模型和架構(gòu)組件模型。DaaS數(shù)據(jù)存取的模型描述了數(shù)據(jù)是如何提供給SOA組件的。物理模型描述了數(shù)據(jù)是如何存儲(chǔ)的以及存儲(chǔ)的層次圖是如何傳送到SOA數(shù)據(jù)存儲(chǔ)器上的。最后，架構(gòu)模型描述了數(shù)據(jù)、數(shù)據(jù)管理服務(wù)和SOA組件之間的關(guān)系。云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來(lái)說(shuō)明，兩者之

5、間結(jié)合后會(huì)產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過(guò)云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。以Hadoop（Yahoo）為例進(jìn)行說(shuō)明，Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種

6、可靠、高效、可伸縮的方式進(jìn)行處理的。而MapReduce是Google提出的一種云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題（例如程序）拆解成map（映射）和reduce（化簡(jiǎn)）的方式，在數(shù)據(jù)被分割后通過(guò)Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過(guò)Reduce函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。你也可

7、以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān)）HBase（數(shù)據(jù)庫(kù)）MapReduce（數(shù)據(jù)處理）……OthersHadoop用到的一些技術(shù)有：HDFS:Hadoop分布式文件系統(tǒng)(DistributedFileSystem)－HDFS(HadoopDistributedFileSystem)；MapReduce：并行計(jì)算框架；HBase:類似GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫(kù)；Hi

8、ve：數(shù)據(jù)倉(cāng)庫(kù)工具，由Facebook貢獻(xiàn)；Zookeeper：分布式鎖設(shè)施，提供類似GoogleChubby的功能，由Facebook貢獻(xiàn)；Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制；Pig:大數(shù)據(jù)分析平臺(tái)，為用戶提供多種接口；Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群；Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。云計(jì)算云計(jì)算是世界各大搜索引擎及瀏覽器數(shù)據(jù)收

9、集、處理的核心計(jì)算方式。云計(jì)算(cloudcomputing)是商業(yè)化的超大規(guī)模分布式計(jì)算技術(shù)。即：用戶可以通過(guò)已有的網(wǎng)絡(luò)將所需要的龐大的計(jì)算處理程序自動(dòng)分拆成無(wú)數(shù)個(gè)較小的子程序，再交由多部服務(wù)器所組成的更龐大的系統(tǒng)，經(jīng)搜尋、計(jì)算、分析之后將處理的結(jié)果回傳給用戶。云存儲(chǔ)是在云計(jì)算(cloudcomputing)概念上延伸和發(fā)展出云存儲(chǔ)來(lái)的一個(gè)新的概念，是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通