

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、大數(shù)據(jù)大數(shù)據(jù)(bigdatamegadata),或稱巨量資料,指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。第一,數(shù)據(jù)體量巨大。從TB級(jí)別,躍升到PB級(jí)別。第二,數(shù)據(jù)類型繁多,如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息,等等。第三,價(jià)值密度低。以視頻為例,連續(xù)不間斷監(jiān)控過(guò)程
2、中,可能有用的數(shù)據(jù)僅僅有一兩秒。第四,處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器,無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。大數(shù)據(jù)最核心的價(jià)值就是在于對(duì)于海量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析。大數(shù)據(jù)(Bigdata)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析
3、常和云計(jì)算聯(lián)系到一起,因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。簡(jiǎn)言之,從各種各樣類型的數(shù)據(jù)中,快速獲得有價(jià)值信息的能力,就是大數(shù)據(jù)技術(shù)。大的數(shù)據(jù)需要特殊的技術(shù),以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù),包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫(kù),數(shù)據(jù)挖掘電網(wǎng),分布式文件系統(tǒng),分布式數(shù)據(jù)庫(kù),云計(jì)算平臺(tái),互聯(lián)網(wǎng),和可擴(kuò)展的存儲(chǔ)系統(tǒng),但不是所有的MPP的關(guān)系數(shù)據(jù)庫(kù)的PB的數(shù)據(jù)
4、存儲(chǔ)和管理的能力。隱含的負(fù)載,監(jiān)控,備份和優(yōu)化大型數(shù)據(jù)表的使用在RDBMS的。SOA管理大數(shù)據(jù)SOA的三個(gè)數(shù)據(jù)中心模型分別是數(shù)據(jù)即服務(wù)(DaaS)模型、物理層次結(jié)構(gòu)模型和架構(gòu)組件模型。DaaS數(shù)據(jù)存取的模型描述了數(shù)據(jù)是如何提供給SOA組件的。物理模型描述了數(shù)據(jù)是如何存儲(chǔ)的以及存儲(chǔ)的層次圖是如何傳送到SOA數(shù)據(jù)存儲(chǔ)器上的。最后,架構(gòu)模型描述了數(shù)據(jù)、數(shù)據(jù)管理服務(wù)和SOA組件之間的關(guān)系。云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來(lái)說(shuō)明,兩者之
5、間結(jié)合后會(huì)產(chǎn)生如下效應(yīng):可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù);通過(guò)云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái),在控制系統(tǒng)的統(tǒng)一管理控制下,協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。以Hadoop(Yahoo)為例進(jìn)行說(shuō)明,Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架,是以一種
6、可靠、高效、可伸縮的方式進(jìn)行處理的。而MapReduce是Google提出的一種云計(jì)算的核心計(jì)算模式,是一種分布式運(yùn)算技術(shù),也是簡(jiǎn)化的分布式編程模式,MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題(例如程序)拆解成map(映射)和reduce(化簡(jiǎn))的方式,在數(shù)據(jù)被分割后通過(guò)Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊,分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果,在通過(guò)Reduce函數(shù)的程序?qū)⒔Y(jié)果匯整,從而輸出開(kāi)發(fā)者需要的結(jié)果。你也可
7、以這么理解Hadoop的構(gòu)成,Hadoop=HDFS(文件系統(tǒng),數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān))HBase(數(shù)據(jù)庫(kù))MapReduce(數(shù)據(jù)處理)……OthersHadoop用到的一些技術(shù)有:HDFS:Hadoop分布式文件系統(tǒng)(DistributedFileSystem)-HDFS(HadoopDistributedFileSystem);MapReduce:并行計(jì)算框架;HBase:類似GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫(kù);Hi
8、ve:數(shù)據(jù)倉(cāng)庫(kù)工具,由Facebook貢獻(xiàn);Zookeeper:分布式鎖設(shè)施,提供類似GoogleChubby的功能,由Facebook貢獻(xiàn);Avro:新的數(shù)據(jù)序列化格式與傳輸工具,將逐步取代Hadoop原有的IPC機(jī)制;Pig:大數(shù)據(jù)分析平臺(tái),為用戶提供多種接口;Ambari:Hadoop管理工具,可以快捷的監(jiān)控、部署、管理集群;Sqoop:用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。云計(jì)算云計(jì)算是世界各大搜索引擎及瀏覽器數(shù)據(jù)收
9、集、處理的核心計(jì)算方式。云計(jì)算(cloudcomputing)是商業(yè)化的超大規(guī)模分布式計(jì)算技術(shù)。即:用戶可以通過(guò)已有的網(wǎng)絡(luò)將所需要的龐大的計(jì)算處理程序自動(dòng)分拆成無(wú)數(shù)個(gè)較小的子程序,再交由多部服務(wù)器所組成的更龐大的系統(tǒng),經(jīng)搜尋、計(jì)算、分析之后將處理的結(jié)果回傳給用戶。云存儲(chǔ)是在云計(jì)算(cloudcomputing)概念上延伸和發(fā)展出云存儲(chǔ)來(lái)的一個(gè)新的概念,是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 大數(shù)據(jù)技術(shù)
- 大數(shù)據(jù)挖掘技術(shù)
- 大數(shù)據(jù)關(guān)鍵技術(shù)
- 大數(shù)據(jù)技術(shù)及其應(yīng)用
- hadoop大數(shù)據(jù)技術(shù)簡(jiǎn)介
- 大數(shù)據(jù)技術(shù)交流
- 大數(shù)據(jù)etl技術(shù)方案
- 大數(shù)據(jù)技術(shù)與應(yīng)用
- 數(shù)據(jù)挖掘與大數(shù)據(jù)技術(shù)應(yīng)用
- 大數(shù)據(jù)平臺(tái)-數(shù)據(jù)建??偨Y(jié)-技術(shù)方案
- 大數(shù)據(jù)技術(shù)與應(yīng)用教案
- 大數(shù)據(jù)技術(shù)與應(yīng)用教案
- 大數(shù)據(jù)核心技術(shù)a卷
- 大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)
- 大數(shù)據(jù)存儲(chǔ)技術(shù)研究
- 大數(shù)據(jù)技術(shù)及應(yīng)用培訓(xùn)
- 大數(shù)據(jù)技術(shù)與經(jīng)驗(yàn)分享
- 大數(shù)據(jù)核心技術(shù)a卷
- 大數(shù)據(jù)技術(shù)原理及應(yīng)用
- 大數(shù)據(jù)技術(shù)原理與應(yīng)用
評(píng)論
0/150
提交評(píng)論