大數(shù)據(jù)技術(shù)及應(yīng)用 ppt課件

1、大數(shù)據(jù)原理及技術(shù),關(guān)于大數(shù)據(jù)？？？,你怎么看,最近幾年，關(guān)于物聯(lián)網(wǎng)，大數(shù)據(jù)，云計(jì)算，炒的沸沸揚(yáng)揚(yáng)。似乎隨便2個(gè)節(jié)點(diǎn)之間能夠?qū)崿F(xiàn)通信就能稱(chēng)作物聯(lián)網(wǎng)；只要數(shù)據(jù)足夠大就稱(chēng)之為大數(shù)據(jù)；只要有數(shù)據(jù)足夠大的計(jì)算就叫做云計(jì)算。,當(dāng)時(shí)國(guó)外社交媒體對(duì)于大數(shù)據(jù)的熱度稱(chēng)呼其為：Big Data is like teenage sex: Everyone talks about it, nobody really knows how to do it, eve

2、ryone thinks everyone else is doing it, so everyone claims they are doing it too。 這比喻恰到好處。似懂非懂，似是而非的感覺(jué)。,大數(shù)據(jù)是近兩年被反復(fù)吟唱的一首驪歌。自從1980年，著名未來(lái)學(xué)家阿爾文·托夫勒在《第三次浪潮》一書(shū)中將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂(lè)章”開(kāi)始，IT界就不斷的為之傾倒。不過(guò)，“大數(shù)據(jù)”真的闖入凡人世界成為這個(gè)時(shí)代的

3、流行詞匯還是從2012年開(kāi)始。從baidu指數(shù)當(dāng)中可以清晰地看到，“大數(shù)據(jù)”在2012年6月之前還處在默默無(wú)聞階段，自此之后“大數(shù)據(jù)”指數(shù)一路飆升。,努力回憶下生活中的小場(chǎng)景吧!,此刻做PPT，稍微一轉(zhuǎn)眼，又看到了這些，這就不能算巧合吧！,1. 好友親密度、qq空間、淘寶推送的東西等等～涉及到數(shù)據(jù)與數(shù)據(jù)之間的相互關(guān)系，而并不是因果關(guān)系（往往習(xí)慣于因果思維邏輯去思考和理解問(wèn)題）2.DT（分銷(xiāo)商），可以設(shè)想一下，當(dāng)淘寶下單20分鐘就收到到

4、貨信息，該是一種什么樣的體驗(yàn)。（其實(shí)你的信息，什么時(shí)候想要什么東西都已經(jīng)被商戶(hù)預(yù)測(cè)啦，已經(jīng)提前將商品運(yùn)往目的地。甚至你路過(guò)的廣告屏，視頻網(wǎng)站，包括使用的APP都將引導(dǎo)你消費(fèi)。）3.數(shù)據(jù)足夠大就稱(chēng)呼其為大數(shù)據(jù)嗎？（其實(shí)不然，關(guān)鍵在于其中承載的信息。數(shù)據(jù)處理之后才可以稱(chēng)之為信息或者叫做知識(shí)。其實(shí)大數(shù)據(jù)可以這樣理解，當(dāng)數(shù)據(jù)增長(zhǎng)速度超過(guò)了計(jì)算機(jī)處理能力的增長(zhǎng)速度，這時(shí)就產(chǎn)生了「大數(shù)據(jù)」問(wèn)題，好比馬車(chē)怎么也趕不上汽車(chē)，更別看汽車(chē)后備箱里面裝了什

5、么東西。當(dāng)前流行的Hadoop等工具、MapReduce等方法有效地形成一套可以靈活擴(kuò)展的解決方案，允許用空間（集群規(guī)模）換取時(shí)間（運(yùn)算時(shí)間），通過(guò)良好地管理，集群的處理能力能夠跟得上數(shù)據(jù)的增長(zhǎng)速度，由此允許人們處理更大的數(shù)據(jù)（趕上汽車(chē)），從中提取出小數(shù)據(jù)所無(wú)法獲得的信息與價(jià)值（發(fā)現(xiàn)汽車(chē)后備箱里面藏的東西）。）當(dāng)然這里面設(shè)計(jì)很多技術(shù)，數(shù)據(jù)采樣、數(shù)據(jù)處理、并行計(jì)算、建模、機(jī)器學(xué)習(xí)，如何使用這些數(shù)學(xué)工具以及專(zhuān)業(yè)知識(shí)，便成為核心問(wèn)題。,Som

6、e fantastic scenes,Some funny ideas,1.現(xiàn)在的數(shù)據(jù)挖掘、人工智能以及大數(shù)據(jù)的結(jié)合還只在一個(gè)較淺顯的層面，這方面還存在很大的突破瓶頸。大數(shù)據(jù)的應(yīng)用應(yīng)該體現(xiàn)在數(shù)據(jù)挖掘的深度上面。例如深圳的大疆無(wú)人機(jī)雖然占據(jù)全世界消費(fèi)級(jí)無(wú)人機(jī)百分之70的市場(chǎng)份額，但是相比軍事無(wú)人機(jī)，與美國(guó)的許多無(wú)人機(jī)存在不小的差距。因?yàn)榇蠼拇蠖鄶?shù)產(chǎn)品還是依靠遙控控制，離真正的人工智能還是有一定的距離的。2.在baidu關(guān)鍵詞中對(duì)比了“

7、大數(shù)據(jù)”和“云計(jì)算”的近幾年趨勢(shì)，發(fā)現(xiàn)了一個(gè)有意思的曲線，2012年“云計(jì)算”熱度消退后，“大數(shù)據(jù)”走上了前臺(tái)，但卻再也沒(méi)有恢復(fù)到“云計(jì)算”的高度。這是不是表示“大數(shù)據(jù)”是“云計(jì)算”概念落空后的一餐冷飯呢？也許，誰(shuí)知道呢。3.快速的處理數(shù)據(jù)盡快用于公司決策當(dāng)最低限度的數(shù)據(jù)邊界找到后，保證數(shù)據(jù)的快速處理就是你的能力所在。盡你的最大可能快速與客戶(hù)、設(shè)備、平臺(tái)基于這些數(shù)據(jù)進(jìn)行接受和反饋，將分析和決策工作與執(zhí)行行動(dòng)實(shí)時(shí)對(duì)接。,4.小規(guī)模的數(shù)

8、據(jù)分析，會(huì)有很大噪音。1個(gè)人買(mǎi)了啤酒又買(mǎi)了尿不濕就說(shuō)兩者有什么關(guān)聯(lián)，但是如果幾百萬(wàn)個(gè)用戶(hù)都顯示了這樣的關(guān)聯(lián)，那就能說(shuō)明一些問(wèn)題了。可是數(shù)據(jù)量一旦上了規(guī)模，傳統(tǒng)的系統(tǒng)就沒(méi)辦法很好的處理了。此案例還是被納為營(yíng)銷(xiāo)界最成功的案例之一，究其竟還是巧妙的產(chǎn)品捆綁銷(xiāo)售方式！PS：（發(fā)現(xiàn)啤酒和尿不濕多為男人在周末采購(gòu)，而且購(gòu)買(mǎi)這兩種產(chǎn)品的顧客一般都是年齡在25至35周歲的青年男子，由于孩子尚在哺乳期，多數(shù)男人都接到了夫人的“圣旨”，下班后帶尿不濕回

9、家，而周末正是美國(guó)體育比賽的高峰期，一杯啤酒就著比賽是多么愜意的事！）于是有銷(xiāo)售人員得到啟發(fā)，在超市刻意將這2件商品擺放距離放近了許多，并且放置了一些牛肉干之類(lèi)的。最后每年可增加幾百美元的銷(xiāo)售額。 阿里亞馬遜ebay這些，成千上萬(wàn)種貨物，每天成TB的甚至PB的數(shù)據(jù)量，要對(duì)大量不同的貨品種類(lèi)作分析和推薦，近實(shí)時(shí)地更新給用戶(hù)看；推特和Facebook這些，根據(jù)用戶(hù)發(fā)布的信息和行為模式，快速地分析整合數(shù)據(jù)給出精確廣告投放是這些

10、公司生存的根本。等移動(dòng)互聯(lián)網(wǎng)或者物聯(lián)網(wǎng)更普及，數(shù)據(jù)量只會(huì)更大，結(jié)構(gòu)更隨意，分析更困難。能從中找到有意思的信息，用傳統(tǒng)手段就更難了。,,大數(shù)據(jù)的產(chǎn)生,大數(shù)據(jù)技術(shù)的介紹,大數(shù)據(jù)技術(shù)的應(yīng)用,大數(shù)據(jù)的產(chǎn)生,來(lái)源,基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點(diǎn)，合理搭配，重新組隊(duì)；,打破傳統(tǒng)思維，通過(guò)分析比賽數(shù)據(jù)，尋找“性?xún)r(jià)比”最高球員，運(yùn)用數(shù)據(jù)取得成功；,布拉德?皮特主演的《點(diǎn)球成金》是一部美國(guó)奧斯卡獲獎(jiǎng)影片，所講述的是皮特扮演的棒球隊(duì)總經(jīng)理

11、利用計(jì)算機(jī)數(shù)據(jù)分析，對(duì)球隊(duì)進(jìn)行了翻天覆地的改造，讓一家不起眼的小球隊(duì)能夠取得巨大的成功。,來(lái)源,數(shù)據(jù)的爆炸式增長(zhǎng),每分鐘的數(shù)據(jù),來(lái)源,大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長(zhǎng)。,這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇。,來(lái)源,傳統(tǒng)數(shù)據(jù)管理方式的缺陷：,范圍——非結(jié)構(gòu)化數(shù)據(jù)、內(nèi)外部數(shù)據(jù)混搭、云化處理等都會(huì)沖擊傳統(tǒng)管理模式。,形式——數(shù)據(jù)加工的復(fù)雜度和速度要求越來(lái)越高，也對(duì)傳

12、統(tǒng)管理模式提出挑戰(zhàn)。,內(nèi)涵——數(shù)據(jù)的交換、轉(zhuǎn)讓、租賃、交易等各種創(chuàng)新模式，也要求新的管理手段。,來(lái)源,,,,每天幾百 GB、 幾 TB 的資料，且持續(xù)成長(zhǎng)中,,儲(chǔ)存Storing,在收數(shù)據(jù)的同時(shí)做必要的前置處理 (pre-processing)，并區(qū)分?jǐn)?shù)據(jù)處理的優(yōu)先等級(jí) (prioritizing),,計(jì)算Processing,如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀,,管理Managing,如何從中挖掘出所關(guān)注事件的 pat

13、tern 或 behavior,,分析Analyzing,我們需要什么樣的數(shù)據(jù)管理方式？,來(lái)源,大數(shù)據(jù)應(yīng)運(yùn)而生,,那么，什么是大數(shù)據(jù)？,大數(shù)據(jù)技術(shù)的介紹,目前對(duì)大數(shù)據(jù)尚未有一個(gè)公認(rèn)的定義，不同的定義基本上是從特征出發(fā)，試圖給出大數(shù)據(jù)的定義。,大數(shù)據(jù)技術(shù)介紹,大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。 大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中 挖掘出有價(jià)值的信息而受到重視。 《華爾街日?qǐng)?bào)》將大數(shù)據(jù)時(shí)代、智能化生

14、 產(chǎn)、 無(wú)線網(wǎng)絡(luò)革命稱(chēng)為引領(lǐng)未來(lái)繁榮發(fā) 展的重大技術(shù)變革。,,,,,,大數(shù)據(jù)技術(shù)介紹,,,何為大數(shù)據(jù),大數(shù)據(jù)指的是規(guī)模超過(guò)現(xiàn)有數(shù)據(jù)庫(kù)工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集額，并同時(shí)強(qiáng)調(diào)并不是超過(guò)某個(gè)特定數(shù)量級(jí)的數(shù)據(jù)集才是大數(shù)據(jù),大數(shù)據(jù)是具備海量、高速、多樣、可變等特征的多維數(shù)據(jù)集，需要通過(guò)可伸縮的體系結(jié)構(gòu)實(shí)現(xiàn)高效的存儲(chǔ)、處理和分析。,技術(shù)能力視角,大數(shù)據(jù)內(nèi)涵視角,大數(shù)據(jù)技術(shù),大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的

15、決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來(lái)的新石油”。,大數(shù)據(jù)帶來(lái)的思維變革：,更多—— 不是隨機(jī)樣本而是全部數(shù)據(jù),更雜—— 不是精確性而是混雜性,更好—— 不是因果關(guān)系而是相關(guān)關(guān)系,大數(shù)據(jù)技術(shù),,更多,人口大普查全數(shù)據(jù)模式,隨機(jī)采樣樣本模式,大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式,是指在國(guó)家統(tǒng)一規(guī)定的時(shí)間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項(xiàng)目、統(tǒng)一的調(diào)查

16、表和統(tǒng)一的標(biāo)準(zhǔn)，對(duì)全國(guó)人口普遍地、逐戶(hù)逐人地進(jìn)行的一次性調(diào)查登記；主要特點(diǎn)是調(diào)查組織高度集中性，普查對(duì)象的全面完整性；人口大普查耗時(shí)費(fèi)力，一般來(lái)講是十年一次，新中國(guó)成立以來(lái)共進(jìn)行了6次人口大普查；人口大普查是一種典型的全數(shù)據(jù)模式；,大數(shù)據(jù)時(shí)代,小數(shù)據(jù)時(shí)代,大數(shù)據(jù)技術(shù),,更多,人口大普查全數(shù)據(jù)模式,隨機(jī)采樣樣本模式,大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式,人口大普查是一種耗時(shí)耗費(fèi)的工程，一般是以十年為單位；各國(guó)每年需要進(jìn)行幾百次的小規(guī)模人口調(diào)

17、查，采取隨機(jī)采樣分析的方式，這是一種樣本模式；源于實(shí)用并且很好的創(chuàng)新！隨機(jī)采樣分析是小數(shù)據(jù)時(shí)代的產(chǎn)物；,大數(shù)據(jù)時(shí)代,小數(shù)據(jù)時(shí)代,大數(shù)據(jù)技術(shù),,更多,人口大普查全數(shù)據(jù)模式,隨機(jī)采樣樣本模式,大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式,我們已具備了大數(shù)據(jù)的各種技術(shù)能力，思維需要轉(zhuǎn)換到大數(shù)據(jù)的全數(shù)據(jù)模式：樣本=全部；大數(shù)據(jù)不用隨機(jī)分析法這樣的捷徑，而采用所有數(shù)據(jù)的方法；這里的“大”是相對(duì)的——相撲比賽所有數(shù)據(jù)存儲(chǔ)還不需要一個(gè)TB，但是是所有的數(shù)據(jù)！

18、在大數(shù)據(jù)時(shí)代采用隨機(jī)采樣法，就像在汽車(chē)時(shí)代騎馬一樣，雖然特定情況下仍可采樣隨機(jī)采樣法，但是慢慢地我們會(huì)放棄它；,大數(shù)據(jù)時(shí)代,小數(shù)據(jù)時(shí)代,大數(shù)據(jù)技術(shù),,更多,大數(shù)據(jù)技術(shù),,更雜,從皮尺到哈勃望遠(yuǎn)鏡，人類(lèi)一直在追求測(cè)量的精確性，一方面源于對(duì)未知世界的認(rèn)知；一方面也源于收集信息的有限性；,大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更有效；IBM的機(jī)器翻譯 VS Google的機(jī)器翻譯；紛繁的數(shù)據(jù)越多越好；大數(shù)據(jù)時(shí)代要求我們重新審視數(shù)據(jù)精確性的優(yōu)

19、略；大數(shù)據(jù)不僅讓我們不再期待精確性，也讓我們無(wú)法實(shí)現(xiàn)精確性；錯(cuò)誤不是大數(shù)據(jù)固有的問(wèn)題，而是一個(gè)需要我們?nèi)ソ鉀Q的問(wèn)題，而且會(huì)將長(zhǎng)期存在；混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑；,大數(shù)據(jù)技術(shù),,更好,Kaggle，一個(gè)為所有人提供數(shù)據(jù)挖掘競(jìng)賽的公司，在一次關(guān)于二手車(chē)的數(shù)據(jù)分析比賽中得到，橙色汽車(chē)有質(zhì)量問(wèn)題的可能性是其它顏色汽車(chē)的一半。為什么？探尋事物的因果關(guān)系是人類(lèi)的本性，但是大數(shù)據(jù)時(shí)代可以做某種程度的妥協(xié)，可以只需要關(guān)注“是什么”，

20、而忽略“為什么？”,大數(shù)據(jù)技術(shù),,Volume,Variety,Value,Velocity,非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)；總數(shù)據(jù)量的80~90%；比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍；是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍。,大數(shù)據(jù)的異構(gòu)和多樣性；很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）；無(wú)模式或者模式不明顯；不連貫的語(yǔ)法或句義。,大量的不相關(guān)信息；對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析；深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能）,實(shí)時(shí)分析

21、而非批量式分析；數(shù)據(jù)輸入、處理與丟棄；立竿見(jiàn)影而非事后見(jiàn)效,4V特征,大數(shù)據(jù)技術(shù),,Volume,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,大數(shù)據(jù)技術(shù),,Variety,數(shù)據(jù)來(lái)源多,數(shù)據(jù)類(lèi)型多,關(guān)聯(lián)性強(qiáng),企業(yè)內(nèi)部多個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來(lái)了微博、社交網(wǎng)站、傳感器等多種來(lái)源。,保存在關(guān)系數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非

22、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。,數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強(qiáng)的關(guān)聯(lián)性。,大數(shù)據(jù)技術(shù),,Value,大數(shù)據(jù)不僅僅是技術(shù)，關(guān)鍵是產(chǎn)生價(jià)值,可以從各個(gè)層面進(jìn)行優(yōu)化，更要考慮整體,挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價(jià)值密度低，是大數(shù)據(jù)的一個(gè)典型特征；,大數(shù)據(jù)技術(shù),,Velocity,中央政府對(duì)大數(shù)據(jù)的重視程度,31,大數(shù)據(jù)涉及的關(guān)鍵技術(shù),需求

23、 海量數(shù)據(jù)存儲(chǔ)技術(shù) 實(shí)時(shí)數(shù)據(jù)處理技術(shù) 數(shù)據(jù)高速傳輸技術(shù) 搜索技術(shù) 數(shù)據(jù)分析技術(shù),技術(shù)Hadoop，X86/MPPMap ReduceStreaming dataInfini BandEnterprise SearchText Analytics EngineVisual Data Modeling,描

24、述分布式文件系統(tǒng)流計(jì)算引擎服務(wù)器、存儲(chǔ)間高速通信文本檢索、智能搜索、實(shí)時(shí)搜索自然語(yǔ)言處理、文本情感分析、機(jī)器學(xué)習(xí)、聚類(lèi)關(guān)聯(lián)、數(shù)據(jù)模型,大數(shù)據(jù)的技術(shù)生態(tài),大數(shù)據(jù)本身是個(gè)很寬泛的概念，Hadoop生態(tài)圈（或者泛生態(tài)圈）基本上都是為了處理超過(guò)單機(jī)尺度的數(shù)據(jù)處理而誕生的。你可以把它比作一個(gè)廚房所以需要的各種工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。但是每個(gè)工具有自己的特性，雖然奇怪的組合也能工作，但是未必是

25、最佳選擇。這里限于時(shí)間考慮只介紹了Hadoop HSFS和MapReduce / Tez / Spark。,,該圖為一個(gè)Hadoop生態(tài)圈示意圖,HDFS（Hadoop Distributed FileSystem分布式文件系統(tǒng)）的設(shè)計(jì)本質(zhì)上是為了大量的數(shù)據(jù)能橫跨成百上千臺(tái)機(jī)器，但是你看到的是一個(gè)文件系統(tǒng)而不是很多文件系統(tǒng)。比如你說(shuō)我要獲取/hdfs/tmp/file1的數(shù)據(jù)，你引用的是一個(gè)文件路徑，但是實(shí)際的數(shù)據(jù)存放在很多不同的機(jī)器上

26、。你作為用戶(hù)，不需要知道這些，就好比在單機(jī)上你不關(guān)心文件分散在什么磁道什么扇區(qū)一樣。HDFS為你管理這些數(shù)據(jù)。 接下來(lái)處理數(shù)據(jù)，雖然HDFS可以為你整體管理不同機(jī)器上的數(shù)據(jù)，但是這些數(shù)據(jù)太大了。那么我如果要用很多臺(tái)機(jī)器處理，我就面臨了如何分配工作，如果一臺(tái)機(jī)器掛了如何重新啟動(dòng)相應(yīng)的任務(wù)，機(jī)器之間如何互相通信交換數(shù)據(jù)以完成復(fù)雜的計(jì)算等等。這就是MapReduce / Tez / Spark的功能。MapReduce是第一代計(jì)

27、算引擎，Tez和Spark是第二代。MapReduce的設(shè)計(jì)，采用了很簡(jiǎn)化的計(jì)算模型，只有Map和Reduce兩個(gè)計(jì)算過(guò)程（中間用Shuffle串聯(lián)）,什么是Map什么是Reduce？ 考慮如果你要統(tǒng)計(jì)一個(gè)巨大的文本文件存儲(chǔ)在類(lèi)似HDFS上，你想要知道這個(gè)文本里各個(gè)詞的出現(xiàn)頻率。你啟動(dòng)了一個(gè)MapReduce程序。Map階段，幾百臺(tái)機(jī)器同時(shí)讀取這個(gè)文件的各個(gè)部分，分別把各自讀到的部分分別統(tǒng)計(jì)出詞頻，產(chǎn)生類(lèi)似（hello,

28、 12100次），（world，15214次）等等這樣的Pair（我這里把Map和Combine放在一起說(shuō)以便簡(jiǎn)化）；這幾百臺(tái)機(jī)器各自都產(chǎn)生了如上的集合，然后又有幾百臺(tái)機(jī)器啟動(dòng)Reduce處理。Reducer機(jī)器A將從Mapper機(jī)器收到所有以A開(kāi)頭的統(tǒng)計(jì)結(jié)果，機(jī)器B將收到B開(kāi)頭的詞匯統(tǒng)計(jì)結(jié)果（當(dāng)然實(shí)際上不會(huì)真的以字母開(kāi)頭做依據(jù)，而是用函數(shù)產(chǎn)生Hash值以避免數(shù)據(jù)串化。因?yàn)轭?lèi)似X開(kāi)頭的詞肯定比其他要少得多，而你不希望數(shù)據(jù)處理各個(gè)機(jī)器的工

29、作量相差懸殊）。然后這些Reducer將再次匯總，（hello，12100）＋（hello，12311）＋（hello，345881）= （hello，370292）。每個(gè)Reducer都如上處理，你就得到了整個(gè)文件的詞頻結(jié)果。這看似是個(gè)很簡(jiǎn)單的模型，但很多算法都可以用這個(gè)模型描述了。 Map＋Reduce的簡(jiǎn)單模型雖然好用，但是很笨重。第二代的Tez和Spark除了內(nèi)存Cache之類(lèi)的新feature，本質(zhì)上來(lái)說(shuō)，是讓

30、Map/Reduce模型更通用，讓Map和Reduce之間的界限更模糊，數(shù)據(jù)交換更靈活，更少的磁盤(pán)讀寫(xiě)，以便更方便地描述復(fù)雜算法，取得更高的吞吐量。,大數(shù)據(jù)涉及的關(guān)鍵技術(shù),,基于SQL語(yǔ)言: 面對(duì)OLAP的傳統(tǒng)行和列,不基于SQL或map-reduce的: 由谷歌率先發(fā)起,數(shù)據(jù)流: 基于運(yùn)行商數(shù)據(jù)直接生成任意圖形,,,,,數(shù)據(jù)入口/匯聚,數(shù)據(jù)平臺(tái),分析,,傳統(tǒng)交付模式 - 單片或基于設(shè)備的解決方案,云: 能夠充分

31、利用物理設(shè)施的彈性，以實(shí)現(xiàn)處理快速增長(zhǎng)數(shù)據(jù)的能力,“數(shù)據(jù)庫(kù)將演變成一個(gè)虛擬的，基于云計(jì)算，超級(jí)可擴(kuò)展的分布式平臺(tái)?！? Forrester analyst Jim Kobielus,,,,,,,大數(shù)據(jù)涉及的關(guān)鍵技術(shù),關(guān)于大數(shù)據(jù)相關(guān)性關(guān)系的一些爭(zhēng)議性的觀點(diǎn),我覺(jué)得大數(shù)據(jù)的信息來(lái)源還存在著局限性。首先，目前網(wǎng)絡(luò)并不能覆蓋生活的全部。依然存在一部分人群與網(wǎng)絡(luò)的聯(lián)系不密切。如果單憑網(wǎng)絡(luò)數(shù)據(jù)就對(duì)信息做判斷，其實(shí)是很片面的。還有關(guān)于在不少關(guān)于大

32、數(shù)據(jù)的書(shū)籍或是論文中強(qiáng)調(diào)的以相關(guān)關(guān)系替代因果關(guān)系的說(shuō)法。我表示不太明白這點(diǎn)。因?yàn)槟壳坝?jì)算機(jī)所作出的都是相關(guān)關(guān)系的判斷，而無(wú)法提供給人類(lèi)明確的因果關(guān)系。但是基于自己以前的知識(shí)積累，感覺(jué)人類(lèi)在利用計(jì)算機(jī)進(jìn)行數(shù)據(jù)處理的時(shí)候，基本上都是由計(jì)算機(jī)給出的基礎(chǔ)之上再加以人為的因果判斷。哪怕是格蘭杰因果檢驗(yàn)，雖然沒(méi)學(xué)過(guò)，但是個(gè)人理解其實(shí)質(zhì)也不是反映兩個(gè)變量之間的因果關(guān)系，而是“依賴(lài)于使用過(guò)去某些時(shí)點(diǎn)上所有信息的最佳最小二乘預(yù)測(cè)的方差”。因此在多數(shù)情況下

33、，比如在學(xué)習(xí)多元統(tǒng)計(jì)、計(jì)量經(jīng)濟(jì)課程的時(shí)候，我們還是考慮變量之間的相關(guān)性。但是相關(guān)不代表因果。這就跟女士的裙長(zhǎng)和股市漲跌一樣，不是說(shuō)女士裙子越短股市就越能往上走的。而大數(shù)據(jù)就真的沒(méi)運(yùn)用到因果關(guān)系嗎？我覺(jué)得也不是這樣。比如說(shuō)之前谷歌通過(guò)大數(shù)據(jù)做的流行病預(yù)測(cè)，其實(shí)還是運(yùn)用了因果關(guān)系。谷歌就是假定人們?nèi)ゾW(wǎng)上進(jìn)行相關(guān)搜索的原因是人們自己或者身邊的人出現(xiàn)了相關(guān)癥狀。我覺(jué)得這個(gè)世界是不可能單純地依靠“相關(guān)性”來(lái)決策的，因?yàn)檫@違背了人類(lèi)的好奇心。事物之

34、間相關(guān)性越大，就越是讓人想要知道這背后的原因。對(duì)我來(lái)說(shuō)，僅僅基于相關(guān)關(guān)系而不考慮背后的因果關(guān)系的決策有點(diǎn)空中樓閣，不太靠譜。因此我不認(rèn)為因果關(guān)系會(huì)退出歷史舞臺(tái)。,大數(shù)據(jù)技術(shù),大數(shù)據(jù)目前所存在的安全隱患：,大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅,大數(shù)據(jù)存儲(chǔ)安全威脅,隱私泄露問(wèn)題,針對(duì)大數(shù)據(jù)的高級(jí)持續(xù)性攻擊,數(shù)據(jù)訪問(wèn)安全威脅,其它安全威脅,大數(shù)據(jù)時(shí)代下沒(méi)有隱私,一個(gè)技術(shù)領(lǐng)域的大牛討論過(guò)關(guān)于隱私信息重組(這個(gè)詞我們自己造)，實(shí)際就是充分利用掌握的信息去破解密

35、碼。常規(guī)的算法是跑密碼字典，不得不承認(rèn)，中國(guó)人在密碼上不在乎，當(dāng)初學(xué)校我在的校區(qū)我同級(jí)的共7000多人，有3000多人的密碼，我能用我設(shè)計(jì)的37個(gè)密碼跑出來(lái)，37個(gè)啊。在利用學(xué)校bug后，我拿到個(gè)人信息，然后通過(guò)我們?cè)O(shè)計(jì)的算法，利用了個(gè)人信息，得出幾組最可能的密碼，加入37個(gè)密碼中，經(jīng)過(guò)測(cè)試有4900多個(gè)人密碼被破解…自那以后我發(fā)現(xiàn)人們對(duì)密碼設(shè)置規(guī)則固定…而且與個(gè)人信息有關(guān)…在大數(shù)據(jù)下，基于云計(jì)算，加上特定的網(wǎng)絡(luò)爬蟲(chóng)，完全可以爬取任何

36、一個(gè)人的信息。接著，我們可以嘗試撞庫(kù)了，常用的126.163。新浪，QQ郵箱，雅虎，天涯，csdn等等只要設(shè)計(jì)再設(shè)計(jì)時(shí)將所有網(wǎng)站的后臺(tái)或者前臺(tái)登錄模擬出來(lái)了，完全可以利用這些信息去嘗試登錄。,搜索電影女主角的故事（人肉搜索）,Some tips,一、謹(jǐn)防釣魚(yú)網(wǎng)站二、慎連免費(fèi)WiFi三、不在社交平臺(tái)中隨意透露個(gè)人信息四、慎重參加網(wǎng)絡(luò)調(diào)查、抽獎(jiǎng)活動(dòng)五、妥善處理快遞單、車(chē)票、快遞包裝盒上六、及時(shí)清除舊手機(jī)的數(shù)據(jù)信息、廢棄的手機(jī)卡,大

37、數(shù)據(jù)的應(yīng)用,,應(yīng)用,分析,預(yù)測(cè),大數(shù)據(jù)的應(yīng)用,此事經(jīng)被《紐約時(shí)報(bào)》報(bào)道后，塔吉特“大數(shù)據(jù)”的巨大威力轟動(dòng)全美。 在美國(guó)，有一位父親怒氣沖沖地跑到塔吉特賣(mài)場(chǎng)，質(zhì)問(wèn)為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高中的女兒? 然而后來(lái)證實(shí)，他的女兒果真懷孕了。這名女孩搜尋商品的關(guān)鍵詞，以及在社交網(wǎng)站所顯露的行為軌跡，使沃爾瑪捕捉到了她的懷孕信息。 模型發(fā)現(xiàn)，許多孕婦在第2個(gè)妊娠期的

38、開(kāi)始會(huì)買(mǎi)許多大包裝的無(wú)香味護(hù)手霜；在懷孕的最初20周大量購(gòu)買(mǎi)補(bǔ)充鈣、鎂、鋅的善存片之類(lèi)的保健品。最后塔吉特選出了25種典型商品的消費(fèi)數(shù)據(jù)構(gòu)建了“懷孕預(yù)測(cè)指數(shù)”，通過(guò)這個(gè)指數(shù)，Target能夠在很小的誤差范圍內(nèi)預(yù)測(cè)到顧客的懷孕情況，因此Target就能早早地把孕婦優(yōu)惠廣告寄發(fā)給顧客。,大數(shù)據(jù)的應(yīng)用,亞馬遜 “預(yù)測(cè)式發(fā)貨”的新專(zhuān)利，可以通過(guò)對(duì)用戶(hù)數(shù)據(jù)的分析，在他們還沒(méi)有下單購(gòu)物前，提前發(fā)出包裹。 這項(xiàng)技術(shù)可以縮短

39、發(fā)貨時(shí)間，從而降低消費(fèi)者前往實(shí)體店的沖動(dòng)。從下單到收貨之間的時(shí)間延遲可能會(huì)降低人們的購(gòu)物意愿，導(dǎo)致他們放棄網(wǎng)上購(gòu)物。 所以，亞馬遜可能會(huì)根據(jù)之前的訂單和其他因素，預(yù)測(cè)用戶(hù)的購(gòu)物習(xí)慣，從而在他們實(shí)際下單前便將包裹發(fā)出。根據(jù)該專(zhuān)利文件，雖然包裹會(huì)提前從亞馬遜發(fā)出，但在用戶(hù)正式下單前，這些包裹仍會(huì)暫存在快遞公司的轉(zhuǎn)運(yùn)中心或卡車(chē)?yán)铩?亞馬遜為了決定要運(yùn)送哪些貨物，亞馬遜可能會(huì)參考之前的訂單、商品

40、搜索記錄、愿望清單、購(gòu)物車(chē)，甚至包括用戶(hù)的鼠標(biāo)在某件商品上懸停的時(shí)間。,大數(shù)據(jù)的應(yīng)用,在籌備大選的過(guò)程中，奧巴馬背后的數(shù)據(jù)分析團(tuán)隊(duì)一直在收集、存儲(chǔ)和分析選民數(shù)據(jù)。 在這次的大選中，奧巴馬競(jìng)選陣營(yíng)的高級(jí)助理們決定將參考這一團(tuán)隊(duì)所得出的數(shù)據(jù)分析結(jié)果來(lái)制定下一步的競(jìng)選方案。利用在競(jìng)選中可獲得的選民行動(dòng)、行為、支持偏向方面的大量數(shù)據(jù)。 比如，在東海岸找到一位對(duì)女性群體具備相同號(hào)召力的名人，從而復(fù)制“克魯尼效應(yīng)”并為奧巴

41、馬籌集競(jìng)選資金。 “Twitter的政治指數(shù)”提供了一個(gè)衡量社會(huì)化媒體平臺(tái)的用戶(hù)如何評(píng)價(jià)候選人的方式。奧巴馬積極的情緒指數(shù)是59，而羅姆尼的只有53。,大數(shù)據(jù)的應(yīng)用,回顧“老鼠倉(cāng)”的查處過(guò)程，在馬樂(lè)一案中，“大數(shù)據(jù)”首次介入。深交所此前通過(guò)“大數(shù)據(jù)”查出的可疑賬戶(hù)高達(dá)300個(gè)。 實(shí)際上，早在2009年，上交所曾經(jīng)有過(guò)利用“大數(shù)據(jù)”設(shè)置“捕鼠器”的設(shè)想。通過(guò)建立相關(guān)的模型，設(shè)定一定的指標(biāo)預(yù)警，

42、即相關(guān)指標(biāo)達(dá)到某個(gè)預(yù)警點(diǎn)時(shí)監(jiān)控系統(tǒng)會(huì)自動(dòng)報(bào)警。 而此次在馬樂(lè)案中亮相的深交所的“大數(shù)據(jù)” 監(jiān)測(cè)系統(tǒng)，更是引起了廣泛關(guān)注。深交所有幾十人的監(jiān)控室，設(shè)置了200多個(gè)指標(biāo)用于監(jiān)測(cè)估計(jì)，一旦出現(xiàn)股價(jià)偏離大盤(pán)走勢(shì)，深交所利用大數(shù)據(jù)查探異動(dòng)背后是哪些人或機(jī)構(gòu)在參與。,大數(shù)據(jù)的應(yīng)用,在摩托車(chē)生產(chǎn)廠商哈雷·戴維森公司位于賓尼法尼亞州約克市新翻新的摩托車(chē)制造廠，軟件不停的在記錄著微小的制造數(shù)據(jù)，如噴漆室風(fēng)扇的速度等等。當(dāng)

43、軟件察覺(jué)風(fēng)扇速度、溫度、濕度或其它變量脫離規(guī)定數(shù)值，它就會(huì)自動(dòng)調(diào)節(jié)機(jī)械。哈雷·戴維森同時(shí)還使用軟件，還尋找制約公司每86秒完成一臺(tái)摩托車(chē)制造工作的瓶頸。最近，這家公司的管理者通過(guò)研究數(shù)據(jù)，認(rèn)為安裝后擋泥板的時(shí)間過(guò)長(zhǎng)。通過(guò)調(diào)整工廠配置，哈雷·戴維森提高了安裝該配件的速度。 美國(guó)一些紡織及化工生產(chǎn)商，根據(jù)從不同的百貨公司POS機(jī)上收集的產(chǎn)品銷(xiāo)售速度信息，將原來(lái)的18周送貨速度減少到3周，這對(duì)百貨公

44、司分銷(xiāo)商來(lái)說(shuō)，能以更快的速度拿到貨物，減少倉(cāng)儲(chǔ)。對(duì)生產(chǎn)商來(lái)說(shuō)，積攢的材料倉(cāng)儲(chǔ)也能減少很多。,大數(shù)據(jù)的應(yīng)用,谷歌基于每天來(lái)自全球的30 多億條搜索指令設(shè)立了一個(gè)系統(tǒng)，這個(gè)系統(tǒng)在2009 年甲流爆發(fā)之前就開(kāi)始對(duì)美國(guó)各地區(qū)進(jìn)行“流感預(yù)報(bào)”，并推出了“谷歌流感趨勢(shì)”服務(wù)。 谷歌在這項(xiàng)服務(wù)的產(chǎn)品介紹中寫(xiě)道：搜索流感相關(guān)主題的人數(shù)與實(shí)際患有流感癥狀的人數(shù)之間存在著密切的關(guān)系。雖然并非每個(gè)搜索“流感”的人都患有流感，但谷歌發(fā)現(xiàn)

45、了一些檢索詞條的組合并用特定的數(shù)學(xué)模型對(duì)其進(jìn)行分析后發(fā)現(xiàn)，這些分析結(jié)果與傳統(tǒng)流感監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)結(jié)果的相關(guān)性高達(dá)97%。 這也就表示，谷歌公司能做出與疾控部門(mén)同樣準(zhǔn)確的傳染源位置判斷，并且在時(shí)間上提前了一到兩周。”,大數(shù)據(jù)的應(yīng)用,國(guó)際大石油公司一直都非常重視數(shù)據(jù)管理。如雪佛龍公司將5萬(wàn)臺(tái)桌面系統(tǒng)與1800個(gè)公司站點(diǎn)連接，消除煉油、銷(xiāo)售與運(yùn)輸“下游系統(tǒng)”中的重復(fù)流程和系統(tǒng)，每年節(jié)省5000萬(wàn)美元，過(guò)去4年已獲得了凈現(xiàn)

46、值約為2億美元的回報(bào)。 準(zhǔn)確預(yù)測(cè)太陽(yáng)能和風(fēng)能需要分析大量數(shù)據(jù)，包括風(fēng)速、云層等氣象數(shù)據(jù)。丹麥風(fēng)輪機(jī)制造商維斯塔斯( Vestas Wind Systems)，通過(guò)在世界上最大的超級(jí)計(jì)算機(jī)上部署IBM大數(shù)據(jù)解決方案，得以通過(guò)分析包括PB量級(jí)氣象報(bào)告＼潮汐相位、地理空間、衛(wèi)星圖像等結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)，優(yōu)化風(fēng)力渦輪機(jī)布局，有效提高風(fēng)力渦輪機(jī)的性能，為客戶(hù)提供精確和優(yōu)化的風(fēng)力渦輪機(jī)配置方案不但幫助客戶(hù)降低每千瓦

47、時(shí)的成本，并且提高了客戶(hù)投資回報(bào)估計(jì)的準(zhǔn)確度，同時(shí)它將業(yè)務(wù)用戶(hù)請(qǐng)求的響應(yīng)時(shí)間從幾星期縮短到幾小時(shí)。,大數(shù)據(jù)的應(yīng)用,UPS最新的大數(shù)據(jù)來(lái)源是安裝在公司4.6萬(wàn)多輛卡車(chē)上的遠(yuǎn)程通信傳感器，這些傳感器能夠傳回車(chē)速、方向、剎車(chē)和動(dòng)力性能等方面的數(shù)據(jù)。收集到的數(shù)據(jù)流不僅能說(shuō)明車(chē)輛的日常性能，還能幫助公司重新設(shè)計(jì)物流路線。 大量的在線地圖數(shù)據(jù)和優(yōu)化算法，最終能幫助UPS實(shí)時(shí)地調(diào)配駕駛員的收貨和配送路線。該系統(tǒng)為UPS減少了8

48、500萬(wàn)英里的物流里程，由此節(jié)約了840萬(wàn)加侖的汽油。,大數(shù)據(jù)的應(yīng)用,與傳統(tǒng)電視劇有別，《紙牌屋》是一部根據(jù)“大數(shù)據(jù)”制作的作品。制作方Netflix是美國(guó)最具影響力的影視網(wǎng)站之一，在美國(guó)本土有約2900萬(wàn)的訂閱用戶(hù)。 Netflix成功之處在于其強(qiáng)大的推薦系統(tǒng)Cinematch，該系統(tǒng)基于用戶(hù)視頻點(diǎn)播的基礎(chǔ)數(shù)據(jù)如評(píng)分、播放、快進(jìn)、時(shí)間、地點(diǎn)、終端等，儲(chǔ)存在數(shù)據(jù)庫(kù)后通過(guò)數(shù)據(jù)分析，計(jì)算出用戶(hù)可能喜愛(ài)的影片，并為他提

49、供定制化的推薦。 Netflix發(fā)布的數(shù)據(jù)顯示，用戶(hù)在Netflix上每天產(chǎn)生3000多萬(wàn)個(gè)行為，比如暫停、回放或者快進(jìn)，同時(shí)，用戶(hù)每天還會(huì)給出400萬(wàn)個(gè)評(píng)分，以及300萬(wàn)次搜索請(qǐng)求。Netflix遂決定用這些數(shù)據(jù)來(lái)制作一部電視劇，投資過(guò)億美元制作出《紙牌屋》。 Netflix發(fā)現(xiàn)，其用戶(hù)中有很多人仍在點(diǎn)播1991年BBC經(jīng)典老片《紙牌屋》，這些觀眾中許多人喜歡大衛(wèi)·芬奇，觀眾大多

50、愛(ài)看奧斯卡得主凱文·史派西的電影，由此Netflix邀請(qǐng)大衛(wèi)·芬奇為導(dǎo)演，凱文·史派西為主演翻拍了《紙牌屋》這一政治題材劇。2013年2月《紙牌屋》上線后，用戶(hù)數(shù)增加了300萬(wàn)，達(dá)到2920萬(wàn)。,大數(shù)據(jù)的應(yīng)用,Farecast 已經(jīng)擁有驚人的約2 000 億條飛行數(shù)據(jù)記錄。用來(lái)推測(cè)當(dāng)前網(wǎng)頁(yè)上的機(jī)票價(jià)格是否合理。作為一種商品，同一架飛機(jī)上每個(gè)座位的價(jià)格本來(lái)不應(yīng)該有差別。但實(shí)際上，價(jià)格卻千差萬(wàn)別，其中緣由只有航

51、空公司自己清楚。Farecast預(yù)測(cè)當(dāng)前的機(jī)票價(jià)格在未來(lái)一段時(shí)間內(nèi)會(huì)上漲還是下降。這個(gè)系統(tǒng)需要分析所有特定航線機(jī)票的銷(xiāo)售價(jià)格并確定票價(jià)與提前購(gòu)買(mǎi)天數(shù)的關(guān)系。 Farecast 票價(jià)預(yù)測(cè)的準(zhǔn)確度已經(jīng)高達(dá)75 ％，使用Farecast 票價(jià)預(yù)測(cè)工具購(gòu)買(mǎi)機(jī)票的旅客，平均每張機(jī)票可節(jié)省50 美元。,大數(shù)據(jù)的應(yīng)用,大數(shù)據(jù)挖掘技術(shù)的底層技術(shù)最早是英國(guó)軍情六處研發(fā)用來(lái)追蹤恐怖分子的技術(shù)。 中國(guó)大數(shù)據(jù)的概念其實(shí)

52、源于最早公安部抓法輪功分子。 大數(shù)據(jù)篩選犯罪團(tuán)伙，與鎖定的罪犯乘坐同一班列車(chē)，住同一酒店的兩個(gè)人可能是同伙，過(guò)去，刑偵人員要證明這一點(diǎn)，需要通過(guò)把不同線索拼湊起來(lái)排查疑犯。 通過(guò)對(duì)越來(lái)越多數(shù)據(jù)的挖掘分析，某一片區(qū)域的犯罪率以及犯罪模式都將清晰可見(jiàn)。大數(shù)據(jù)可以幫助警方定位最易受到不法分子侵?jǐn)_的區(qū)域，創(chuàng)建一張犯罪高發(fā)地區(qū)熱點(diǎn)圖和時(shí)間表。不但有利于警方精準(zhǔn)分配警力，預(yù)防打擊犯罪，也能幫助市民了解情況