9-2、大數(shù)據(jù)分析

1、——大數(shù)據(jù)引領(lǐng)我們走向數(shù)據(jù)智能化時代,大數(shù)據(jù)分析,,,,大數(shù)據(jù)的定義理解,大數(shù)據(jù)時代的背景,半個世紀(jì)以來，隨著計算機(jī)技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。,全球每秒鐘發(fā)送 2.

2、9 百萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不息的讀5.5 年…每天會有 2.88 萬個小時的視頻上傳到Y(jié)outube，足夠一個人晝夜不息的觀看3.3 年…推特上每天發(fā)布 5 千萬條消息，假設(shè)10 秒鐘瀏覽一條信息，這些消息足夠一個人晝夜不息的瀏覽16 年…每天亞馬遜上將產(chǎn)生 6.3 百萬筆訂單…每個月網(wǎng)民在Facebook 上要花費(fèi)7 千億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB…Google 上每天需

3、要處理24PB 的數(shù)據(jù)…,大數(shù)據(jù)時代的背景,20世紀(jì)90年代，數(shù)據(jù)倉庫之父的Bill Inmon就經(jīng)常提及Big Data。,2011年5月，在“云計算相遇大數(shù)據(jù)”為主題的EMC World 2011 會議中，EMC 拋出了Big Data概念。,大數(shù)據(jù)時代的背景,體量Volume,多樣性Variety,價值密度Value,速度Velocity,非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長占總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是

4、傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍,大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義,大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報告等）,實(shí)時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效,大數(shù)據(jù)的4V特征,“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value

5、）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。,Value 價值,挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息.價值密度低,是大數(shù)據(jù)的一個典型特征.,,2010年海地地震，海地人散落在全國各地，援助人員為弄清該去哪里援助手忙腳亂。傳統(tǒng)上，他們只能通過飛往災(zāi)區(qū)上空來查找需要援助的人群。 一些研究人員采取了一種不同的做法：他們開始跟蹤海地人所持手機(jī)內(nèi)部的SIM卡，由此判斷出手機(jī)持有人

6、所處的位置和行動方向。正如一份聯(lián)合國(UN)報告所述，此舉幫助他們“準(zhǔn)確地分析出了逾60萬名海地人逃離太子港之后的目的地?！焙髞?，當(dāng)海地爆發(fā)霍亂疫情時，同一批研究人員再次通過追蹤SIM卡把藥品投放到正確的地點(diǎn)，阻止了疫情的蔓延。,Variety 多樣性,企業(yè)內(nèi)部的經(jīng)營交易信息;物聯(lián)網(wǎng)世界中商品,物流信息;互聯(lián)網(wǎng)世界中人與人交互信息,位置信息等是大數(shù)據(jù)的主要來源. 文本/圖片/視頻 等非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)能夠在不同的數(shù)據(jù)類型中,進(jìn)行

7、交叉分析的技術(shù),是大數(shù)據(jù)的核心技術(shù)之一.語義分析技術(shù),圖文轉(zhuǎn)換技術(shù),模式識別技術(shù),地理信息技術(shù)等,都會在大數(shù)據(jù)分析時獲得應(yīng)用.,非結(jié)構(gòu)化數(shù)據(jù),相對于結(jié)構(gòu)化數(shù)據(jù)而言,不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。,Velocity 速度,1s 是臨界點(diǎn).對于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案,否則處理結(jié)果就是過時和無效的.

8、實(shí)時處理的要求,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù),BI技術(shù)的關(guān)鍵差別之一.,Volume 數(shù)據(jù)量,PB是大數(shù)據(jù)層次的臨界點(diǎn). KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB,大數(shù)據(jù)不僅僅是“大”,多大？PB 級,比大更重要的是數(shù)據(jù)的復(fù)雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值,指數(shù)型增長的海量數(shù)據(jù),,所有研究都表明，未來數(shù)年數(shù)據(jù)量會呈

9、現(xiàn)指數(shù)增長。根據(jù)麥肯錫全球研究院（MGI）估計，全球企業(yè)2010年在硬盤上存儲了超過7EB（1EB等于10億GB）的新數(shù)據(jù)，而消費(fèi)者在PC和筆記本等設(shè)備上存儲了超過6EB新數(shù)據(jù)。1EB數(shù)據(jù)相當(dāng)于美國國會圖書館中存儲的數(shù)據(jù)的4000多倍。事實(shí)上，我們?nèi)缃癞a(chǎn)生如此多的數(shù)據(jù)，以至于根本不可能全部存儲下來。例如，醫(yī)療衛(wèi)生提供商會處理掉他們所產(chǎn)生的90%的數(shù)據(jù)（比如手術(shù)過程中產(chǎn)生的幾乎所有實(shí)時視頻圖像）。,大數(shù)據(jù) = 海量數(shù)據(jù) + 復(fù)雜類型的數(shù)據(jù)

10、,海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。,大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集,海量交互數(shù)據(jù)：源于各種網(wǎng)絡(luò)和社交媒體。它包括了呼叫詳細(xì)記錄、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、評價數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V

11、我們未來會發(fā)生什么。,大數(shù)據(jù)的構(gòu)成,,大數(shù)據(jù)的技術(shù)與應(yīng)用,,Volume海量的數(shù)據(jù)規(guī)模,Variety多樣的數(shù)據(jù)類型,,Value,Velocity快速的數(shù)據(jù)流轉(zhuǎn),發(fā)現(xiàn)數(shù)據(jù)價值,大數(shù)據(jù)技術(shù)要解決的問題,軟件是大數(shù)據(jù)的引擎,和數(shù)據(jù)中心（Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動力.軟件改變世界!,大數(shù)據(jù)生態(tài):軟件是引擎,,大數(shù)據(jù)技術(shù)被設(shè)計用于在成本可承受的條件下，通過非常快速（velocity）地采集、發(fā)現(xiàn)和分析，從大量

12、（volumes）、多類別（variety）的數(shù)據(jù)中提取價值（value），將是IT 領(lǐng)域新一代的技術(shù)與架構(gòu)。,大數(shù)據(jù)技術(shù)要解決的問題,技術(shù)領(lǐng)域的挑戰(zhàn),1、對現(xiàn)有數(shù)據(jù)庫管理技術(shù)的挑戰(zhàn)傳統(tǒng)的數(shù)據(jù)庫部署不能處理數(shù)TB 級別的數(shù)據(jù)，也不能很好的支持高級別的數(shù)據(jù)分析。急速膨脹的數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫的管理能力。如何構(gòu)建全球級的分布式數(shù)據(jù)庫(Globally-Distributed Database) ，可以擴(kuò)展到數(shù)百萬的機(jī)器，數(shù)已百計的

13、數(shù)據(jù)中心，上萬億的行數(shù)據(jù)。2、經(jīng)典數(shù)據(jù)庫技術(shù)并沒有考慮數(shù)據(jù)的多類別（variety）SQL（結(jié)構(gòu)化數(shù)據(jù)查詢語言），在設(shè)計的一開始是沒有考慮非結(jié)構(gòu)化數(shù)據(jù)的。3、實(shí)時性的技術(shù)挑戰(zhàn)：一般而言，像數(shù)據(jù)倉庫系統(tǒng)、BI應(yīng)用，對處理時間的要求并不高。因此這類應(yīng)用往往運(yùn)行1、2天獲得結(jié)果依然可行的。但實(shí)時處理的要求，是區(qū)別大數(shù)據(jù)應(yīng)用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù)、BI技術(shù)的關(guān)鍵差別之一。,網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)中心、運(yùn)維的挑戰(zhàn)：,技術(shù)架構(gòu)的挑戰(zhàn)：,人們每天創(chuàng)建

14、的數(shù)據(jù)量正呈爆炸式增長，但就數(shù)據(jù)保存來說，我們的技術(shù)改進(jìn)不大，而數(shù)據(jù)丟失的可能性卻不斷增加。如此龐大的數(shù)據(jù)量首先在存儲上就會是一個非常嚴(yán)重的問題，硬件的更新速度將是大數(shù)據(jù)發(fā)展的基石。,分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：A/B test; top N排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測：預(yù)測模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)

15、據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)等計算結(jié)果展現(xiàn)：云計算；標(biāo)簽云；關(guān)系圖等,一些相關(guān)技術(shù),存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲,解決方案：Hadoop（MapReduce技術(shù)）流計算（twitter的storm和yahoo！的S4）,大數(shù)據(jù)的

16、相關(guān)技術(shù),數(shù)據(jù)眾包,大數(shù)據(jù)的相關(guān)技術(shù),分布式文件系統(tǒng),分布式文件系統(tǒng),分布式文件系統(tǒng),分布式文件系統(tǒng),分布式文件系統(tǒng),非關(guān)系型數(shù)據(jù)庫NoSQL,NoSQL,=,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,一個屬性是一個“名稱-值”對（name-value pair），“名稱”必須是一個字符串，“值”可

17、以是一個字符串、數(shù)字、字符串集合或數(shù)字集合。下面是關(guān)于屬性的一些實(shí)例：,非關(guān)系型數(shù)據(jù)庫NoSQL,項目由屬性構(gòu)成。必須指定一個屬性作為主鍵，這個主鍵在DynamoDB表中唯一地標(biāo)識一個項目。除了主鍵是必須的，其他項目屬性是可選的。一個項目的屬性沒有順序關(guān)系。某個項目中的屬性和同一個表中的其他項目的屬性也沒有關(guān)系。項目被存儲在表中，表中的所有項目都具有相同的主鍵機(jī)制（primary key scheme）。每個項目都具備一個唯一的主鍵值

18、。,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,云計算和云存儲,云計算是一種資源交付和使用模式，指通過網(wǎng)絡(luò)獲得應(yīng)用所需的資源（硬件、平臺、軟件）。提供資源的網(wǎng)絡(luò)被稱為“云”。,,白云下面數(shù)據(jù)跑,,,,,藍(lán)藍(lán)的天上白云飄,如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就是挖掘和利用寶藏的利器。沒有強(qiáng)大的計算能力，數(shù)據(jù)寶藏終究是鏡中花；沒有大數(shù)據(jù)的積淀，云計

19、算也只能是殺雞用的宰牛刀。,云計算和云存儲,云計算和云存儲,當(dāng)云計算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。,實(shí)時流處理,實(shí)時流處理,大數(shù)據(jù)的相關(guān)技術(shù),A/B Testing,注冊按鈕由綠色改成紅色提高轉(zhuǎn)化率34%,人性化的表格提高11%的轉(zhuǎn)化率。,MapReduce,MapReduce,R語言,R語言

20、擅長在Hadoop分布式文件系統(tǒng)中存儲的非結(jié)構(gòu)化數(shù)據(jù)上的分析。R現(xiàn)在還可以運(yùn)行在HBase這種非關(guān)系型的數(shù)據(jù)庫以及面向列的分布式數(shù)據(jù)存儲之上。,大數(shù)據(jù)的相關(guān)技術(shù),標(biāo)簽云,標(biāo)簽云,標(biāo)簽云,聚類圖,空間信息流,熱圖,熱圖,,三,大數(shù)據(jù)賦予我們洞察未來的能力,機(jī)遇,馬云成功預(yù)測2008 年經(jīng)濟(jì)危機(jī)“2008 年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時間從詢盤上推斷出世

21、界貿(mào)易發(fā)生變化了?！蓖ǔ６裕I家在采購商品前，會比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購買點(diǎn)擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大,保證用戶行為模型的準(zhǔn)確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。,人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一?！洞髷?shù)據(jù)時代》,挑戰(zhàn),諸多領(lǐng)域的問題亟待解決，最重要的是每

22、個人的信息都被互聯(lián)網(wǎng)所記錄和保留了下來，并且進(jìn)行加工和利用，為人所用，而這正是我們所擔(dān)憂的信息安全隱患！,更多的隱私、安全性問題：我們的隱私被二次利用了多少密碼和賬號是因為“社交網(wǎng)絡(luò)”流出去的？2011年4月索尼的系統(tǒng)漏洞導(dǎo)致7700萬用戶資料失竊2011年4月，iOS被發(fā)現(xiàn)會按照時間順序記錄用戶的位置坐標(biāo)信息2011年CSDN密碼泄露事件…眼下中國互聯(lián)網(wǎng)熱門的話題之一就是互聯(lián)網(wǎng)實(shí)名制問題，我愿意相信這是個好事。畢

23、竟我們?nèi)绻髦脸鲎约旱纳矸荩ヂ?lián)網(wǎng)才能對我們的隱私給予更好保護(hù)。,大數(shù)據(jù)的營銷案例,一、未卜先知懷孕案例,塔吉特：比父親更早知道女兒懷孕曾經(jīng)有一位男性顧客到一家塔吉特超市店中投訴，商店竟然給他還在讀書的女兒寄嬰兒用品的優(yōu)惠券。這家全美第二大零售商，會搞出如此大的烏龍？但經(jīng)過這位父親與女兒進(jìn)一步溝通，才發(fā)現(xiàn)自己女兒真的已經(jīng)懷孕了。,提問：為什么塔吉特能知道這個用戶懷孕了？必須有哪幾個關(guān)鍵環(huán)節(jié)A：用戶數(shù)據(jù)收集 B：懷孕特征庫

24、C：懷孕潛在用戶篩選 塔吉特在和顧客溝通過程中采用了哪種營銷方式A：電子郵件 B：直郵 C：電話營銷 D：數(shù)據(jù)庫營銷,大數(shù)據(jù)的營銷案例,一、未卜先知懷孕案例,關(guān)鍵環(huán)節(jié)一：數(shù)據(jù)信息記錄一家零售商是如何比一位女孩的親生父親更早得知其懷孕消息的呢？每位顧客初次到塔吉特刷卡消費(fèi)時，都會獲得一組顧客識別編號，內(nèi)含顧客姓名、信用卡卡號及電子郵件等個人資料。日后凡是顧客在塔吉特消費(fèi)，計算機(jī)系統(tǒng)就會自動記錄消費(fèi)內(nèi)容、時間等信息

25、。再加上從其他管道取得的統(tǒng)計資料，塔吉特便能形成一個龐大數(shù)據(jù)庫，運(yùn)用于分析顧客喜好與需求。每個ID號還會對號入座的記錄下你的人口統(tǒng)計信息：年齡、是否已婚、是否有子女、所住市區(qū)、住址離Target的車程、薪水情況、最近是否搬過家、錢包里的信用卡情況、常訪問的網(wǎng)址等等。Target還可以從其他相關(guān)機(jī)構(gòu)那里購買你的其他信息：種族、就業(yè)史、喜歡讀的雜志、破產(chǎn)記錄、婚姻史、購房記錄、求學(xué)記錄、閱讀習(xí)慣等等。乍一看，你會覺得這些數(shù)據(jù)毫無意義，但

26、在Andrew Pole和顧客數(shù)據(jù)分析部的手里，這些看似無用的數(shù)據(jù)便爆發(fā)了前述強(qiáng)勁的威力,大數(shù)據(jù)的營銷案例,一、未卜先知懷孕案例,關(guān)鍵環(huán)節(jié)二：數(shù)據(jù)模型建立Andrew Pole想到了Target有一個迎嬰聚會(baby shower)的登記表。Andrew Pole開始對這些登記表里的顧客的消費(fèi)數(shù)據(jù)進(jìn)行建模分析，不久就發(fā)現(xiàn)了許多非常有用的數(shù)據(jù)模式。比如模型發(fā)現(xiàn)，許多孕婦在第2個妊娠期的開始會買許多大包裝的無香味護(hù)手霜;在懷孕的最初2

27、0周大量購買補(bǔ)充鈣、鎂、鋅的善存片之類的保健品。最后Andrew Pole選出了25種典型商品的消費(fèi)數(shù)據(jù)構(gòu)建了“懷孕預(yù)測指數(shù)”，通過這個指數(shù)，Target能夠在很小的誤差范圍內(nèi)預(yù)測到顧客的懷孕情況，因此Target就能早早地把孕婦優(yōu)惠廣告寄發(fā)給顧客。,大數(shù)據(jù)的營銷案例,一、未卜先知懷孕案例,關(guān)鍵環(huán)節(jié)三：建立和用戶溝通渠道　　那么，顧客收到這樣的廣告會不會嚇壞了呢？Target很聰明地避免了這種情況，它把孕婦用品的優(yōu)惠廣告夾雜在其他一

28、大堆與懷孕不相關(guān)的商品優(yōu)惠廣告當(dāng)中，這樣顧客就不知道Target知道她懷孕了,大數(shù)據(jù)的營銷案例,一、未卜先知懷孕案例,Target取得的成就：　　根據(jù)Andrew Pole的大數(shù)據(jù)模型,Target制訂了全新的廣告營銷方案，結(jié)果Target的孕期用品銷售呈現(xiàn)了爆炸性的增長。Andrew Pole的大數(shù)據(jù)分析技術(shù)從孕婦這個細(xì)分顧客群開始向其他各種細(xì)分客戶群推廣，從Andrew Pole加入Target的2002年到2010年間，Tar