大數(shù)據(jù)技術(shù)

1、大數(shù)據(jù)大數(shù)據(jù)(bigdatamegadata)，或稱巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。第一，數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別。第二，數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。第三，價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程

2、中，可能有用的數(shù)據(jù)僅僅有一兩秒。第四，處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。大數(shù)據(jù)最核心的價值就是在于對于海量數(shù)據(jù)進(jìn)行存儲和分析。大數(shù)據(jù)（Bigdata）通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費(fèi)過多時間和金錢。大數(shù)據(jù)分析

3、常和云計算聯(lián)系到一起，因?yàn)閷?shí)時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。大的數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計算平臺，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲系統(tǒng)，但不是所有的MPP的關(guān)系數(shù)據(jù)庫的PB的數(shù)據(jù)

4、存儲和管理的能力。隱含的負(fù)載，監(jiān)控，備份和優(yōu)化大型數(shù)據(jù)表的使用在RDBMS的。SOA管理大數(shù)據(jù)SOA的三個數(shù)據(jù)中心模型分別是數(shù)據(jù)即服務(wù)(DaaS)模型、物理層次結(jié)構(gòu)模型和架構(gòu)組件模型。DaaS數(shù)據(jù)存取的模型描述了數(shù)據(jù)是如何提供給SOA組件的。物理模型描述了數(shù)據(jù)是如何存儲的以及存儲的層次圖是如何傳送到SOA數(shù)據(jù)存儲器上的。最后，架構(gòu)模型描述了數(shù)據(jù)、數(shù)據(jù)管理服務(wù)和SOA組件之間的關(guān)系。云計算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來說明，兩者之

5、間結(jié)合后會產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過云計算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機(jī)用通信網(wǎng)絡(luò)連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。以Hadoop（Yahoo）為例進(jìn)行說明，Hadoop是一個實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種

6、可靠、高效、可伸縮的方式進(jìn)行處理的。而MapReduce是Google提出的一種云計算的核心計算模式，是一種分布式運(yùn)算技術(shù)，也是簡化的分布式編程模式，MapReduce模式的主要思想是將自動分割要執(zhí)行的問題（例如程序）拆解成map（映射）和reduce（化簡）的方式，在數(shù)據(jù)被分割后通過Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過Reduce函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開發(fā)者需要的結(jié)果。你也可

7、以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲技術(shù)相關(guān)）HBase（數(shù)據(jù)庫）MapReduce（數(shù)據(jù)處理）……OthersHadoop用到的一些技術(shù)有：HDFS:Hadoop分布式文件系統(tǒng)(DistributedFileSystem)－HDFS(HadoopDistributedFileSystem)；MapReduce：并行計算框架；HBase:類似GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫；Hi

8、ve：數(shù)據(jù)倉庫工具，由Facebook貢獻(xiàn)；Zookeeper：分布式鎖設(shè)施，提供類似GoogleChubby的功能，由Facebook貢獻(xiàn)；Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制；Pig:大數(shù)據(jù)分析平臺，為用戶提供多種接口；Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群；Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進(jìn)行數(shù)據(jù)的傳遞。云計算云計算是世界各大搜索引擎及瀏覽器數(shù)據(jù)收

9、集、處理的核心計算方式。云計算(cloudcomputing)是商業(yè)化的超大規(guī)模分布式計算技術(shù)。即：用戶可以通過已有的網(wǎng)絡(luò)將所需要的龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多部服務(wù)器所組成的更龐大的系統(tǒng)，經(jīng)搜尋、計算、分析之后將處理的結(jié)果回傳給用戶。云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出云存儲來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通