數(shù)據(jù)挖掘與大數(shù)據(jù)技術(shù)應(yīng)用

1、數(shù)據(jù)挖掘與大數(shù)據(jù)技術(shù)應(yīng)用,目錄,引言 → 電影《點(diǎn)球成金》,基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點(diǎn)，合理搭配，重新組隊；,打破傳統(tǒng)思維，通過分析比賽數(shù)據(jù)，尋找“性價比”最高球員，運(yùn)用數(shù)據(jù)取得成功；,2011年布拉德?皮特主演的《點(diǎn)球成金》是一部美國奧斯卡獲獎影片，所講述的是皮特扮演的棒球隊總經(jīng)理利用計算機(jī)數(shù)據(jù)分析，對球隊進(jìn)行了翻天覆地的改造，讓一家不起眼的小球隊能夠取得巨大的成功。,數(shù)據(jù)本質(zhì)是生產(chǎn)資料和資產(chǎn),僅供開采162年,僅

2、供開采45年,僅供開采60年,不可再生資源VS數(shù)據(jù),數(shù)據(jù)不再是社會生產(chǎn)的“副產(chǎn)物”，而是可被二次乃至多次加工的原料，從中可以探索更大價值，它變成了生產(chǎn)資料。,,數(shù)據(jù)爆炸式增長（每分鐘……）,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),需要不同“看”數(shù)據(jù)的方式,7,可視：結(jié)構(gòu)化資料 15%,未視：半/非結(jié)構(gòu)化數(shù)據(jù) 85%,DB/DW,主管們看的戰(zhàn)情數(shù)位儀表板，其實是殘缺的…,10萬 GB,10萬 TB,需要更高性價比的數(shù)據(jù)計算與儲存方式

3、,8,數(shù)據(jù)庫,數(shù)據(jù)倉庫,,,,計算更快 存儲更省,9,需要不同的數(shù)據(jù)管理策略,,當(dāng)我們想要擴(kuò)充時，才發(fā)覺：架構(gòu)只能 scale-up， scale-out 不易處理時間過長， time-to-value 受限成本過高， cost-efficiency 受限,15% 結(jié)構(gòu)化的 DB/DW,,遺憾,殘缺,,,,每天幾百 GB、 幾 TB 的資料，且持續(xù)成長中,,儲存Storing,在收數(shù)據(jù)的同時做

4、必要的前置處理 (pre-processing)，并區(qū)分?jǐn)?shù)據(jù)處理的優(yōu)先等級 (prioritizing),,計算Processing,如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀,,管理Managing,如何從中挖掘出所關(guān)注事件的 pattern 或 behavior,,分析Analyzing,超越企業(yè)現(xiàn)有 IT 的數(shù)據(jù)解決能量,10,中央政府對大數(shù)據(jù)的重視程度,11,,目錄,二、什么是大數(shù)據(jù),,一、大數(shù)據(jù)的來源,,13,Socia

5、l Media,Machine / Sensor,DOC / Media,Web Clickstream,,Apps,Call Log,Log,什么是數(shù)據(jù)？,半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),4,什么是大數(shù)據(jù)？,何為大？—數(shù)據(jù)度量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB =

6、1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024

7、EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,3/13/2012,6,什么是大數(shù)據(jù)？,《紅樓夢》含標(biāo)點(diǎn)87萬字（不含標(biāo)點(diǎn)853509字）每個漢字占兩個字節(jié)：1漢字=16bit = 2*8位=2bytes1GB 約等于 671部紅樓夢1TB 約等于 631,903 部1PB 約

8、等于 647,068,911部美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數(shù)據(jù)235TB ）中國國家圖書館：2631萬冊1EB = 4000倍 美國國會圖書館存儲的信息量600美元的硬盤就可以存儲全世界所有的歌曲MGI估計,全球企業(yè) 2010 年在硬盤上存儲了超過 7EB(1EB 等于 10 億 GB)的新數(shù)據(jù),同時,消費(fèi)者在 PC 和筆記本等設(shè)備上存儲了超過 6EB 新數(shù)據(jù),7,數(shù)據(jù)沒有

9、辦法在可容忍的時間下使用常規(guī)軟件方法完成存儲、管理和處理任務(wù),什么是大數(shù)據(jù)？,大數(shù)據(jù)的解釋,大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來的新石油”。,大數(shù)據(jù)帶來的思維變革,更亂不是因果關(guān)系而是相關(guān)關(guān)系,更多不是隨機(jī)樣本而是全部數(shù)據(jù),,更雜不是精確性而是混雜性,大數(shù)據(jù)帶來的思維變革（更多）,人口大普查全數(shù)據(jù)模式,隨機(jī)采樣樣本模式,大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式

10、,是指在國家統(tǒng)一規(guī)定的時間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項目、統(tǒng)一的調(diào)查表和統(tǒng)一的標(biāo)準(zhǔn)時點(diǎn)，對全國人口普遍地、逐戶逐人地進(jìn)行的一次性調(diào)查登記；主要特點(diǎn)是調(diào)查組織高度集中性，普查對象的全面完整性；人口大普查耗時耗費(fèi)，一般來講是十年一次，新中國成立以來共進(jìn)行了6次人口大普查；人口大普查是一種典型的全數(shù)據(jù)模式；,大數(shù)據(jù)時代,小數(shù)據(jù)時代,大數(shù)據(jù)帶來的思維變革（更多）,人口大普查全數(shù)據(jù)模式,隨機(jī)采樣樣本模式,大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式,人口大普

11、查是一種耗時耗費(fèi)的工程，一般是以十年為單位；各國每年需要進(jìn)行幾百次的小規(guī)模人口調(diào)查，采取隨機(jī)采樣分析的方式，這是一種樣本模式；源于實用并且很好的創(chuàng)新！隨機(jī)采樣分析是小數(shù)據(jù)時代的產(chǎn)物；,大數(shù)據(jù)時代,小數(shù)據(jù)時代,大數(shù)據(jù)帶來的思維變革（更多）,人口大普查全數(shù)據(jù)模式,隨機(jī)采樣樣本模式,大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式,我們已具備了大數(shù)據(jù)的各種技術(shù)能力，思維需要轉(zhuǎn)換到大數(shù)據(jù)的全數(shù)據(jù)模式：樣本=全部；大數(shù)據(jù)不用隨機(jī)分析法這樣的捷徑，而采用所有數(shù)據(jù)

12、的方法；這里的“大”是相對的——相撲比賽所有數(shù)據(jù)存儲還不需要一個TB，但是是所有的數(shù)據(jù)！在大數(shù)據(jù)時代采用隨機(jī)采樣法，就像在汽車時代騎馬一樣，雖然特定情況下仍可采樣隨機(jī)采樣法，但是慢慢地我們會放棄它；,大數(shù)據(jù)時代,小數(shù)據(jù)時代,大數(shù)據(jù)帶來的思維變革（更多）,大數(shù)據(jù)帶來的思維變革（更雜）,從皮尺到哈勃望遠(yuǎn)鏡，人類一直在追求測量的精確性，一方面源于對未知世界的認(rèn)知；一方面也源于收集信息的有限性；,大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效；

13、IBM的機(jī)器翻譯 VS Google的機(jī)器翻譯；紛繁的數(shù)據(jù)越多越好；大數(shù)據(jù)時代要求我們重新審視數(shù)據(jù)精確性的優(yōu)略；大數(shù)據(jù)不僅讓我們不再期待精確性，也讓我們無法實現(xiàn)精確性；錯誤不是大數(shù)據(jù)固有的問題，而是一個需要我們?nèi)ソ鉀Q的問題，而且會將長期存在；混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑；,大數(shù)據(jù)帶來的思維變革（更好）,Kaggle，一個為所有人提供數(shù)據(jù)挖掘競賽的公司，在一次關(guān)于二手車的數(shù)據(jù)分析比賽中得到，橙色汽車有質(zhì)量問題的可能性是其它

14、顏色汽車的一半。為什么？探尋事物的因果關(guān)系是人類的本性，但是大數(shù)據(jù)時代可以做某種程度的妥協(xié)，可以只需要關(guān)注“是什么”，而忽略“為什么？”,大數(shù)據(jù)的4V特征,Big Data大數(shù)據(jù),TBPBEB,StreamsReal timeNear timeBatch,StructuredUnstructured Semi-structuredAll the above,大數(shù)據(jù)的4V特征（Volume）,1Bity,1KB

15、,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,大數(shù)據(jù)的4V特征（Velocity）,大數(shù)據(jù)的4V特征（Variety）,大數(shù)據(jù)的4V特征（Value）,挖掘大數(shù)據(jù)的價值類似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價值密度低，是大數(shù)據(jù)的一個典型特征；,大數(shù)據(jù)不僅僅是技術(shù)，關(guān)鍵是產(chǎn)生價值可以從各個層面進(jìn)行優(yōu)化，更要考慮整體,,,,,,,,,,,,,,,,,,,,13,大數(shù)據(jù)商業(yè)價值,大數(shù)據(jù)商業(yè)價值---大數(shù)據(jù)為“未來

16、的新石油”,31,2013年，世界上存儲的數(shù)據(jù)預(yù)計能達(dá)到約（約12億TB）字節(jié)，如果把這些數(shù)據(jù)全部印刷成書，這些書可以覆蓋整個美國52次，如果將之存儲于標(biāo)準(zhǔn)的光盤，這些光盤可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奧巴馬政府宣布投資2億美元拉動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家戰(zhàn)略。奧巴馬政府甚至將大數(shù)據(jù)定義為“未來的新石油”。,大數(shù)據(jù)商業(yè)價值---企業(yè)經(jīng)營決策,32,某商店賣牛奶，通過數(shù)據(jù)分析，知道在本

17、店買了牛奶的顧客以后常常會再去另一店買包子，人數(shù)還不少，那么這家店就可以考慮與包子店合作，或直接在店里出售包子。,,大數(shù)據(jù)商業(yè)價值---個性化營銷,33,銀行與客戶的交流渠道進(jìn)行了整合，只要某個客戶在網(wǎng)上點(diǎn)擊查詢了有關(guān)房貸利率的信息，系統(tǒng)就會提示呼叫中心在電話交流時推薦房貸產(chǎn)品，如果發(fā)現(xiàn)顧客確實對此感興趣，銷售部門就會發(fā)送推介信息給客戶，如果這位顧客到銀行網(wǎng)點(diǎn)辦事，業(yè)務(wù)人員就會詳細(xì)介紹房貸產(chǎn)品，開始只有少量的線索，但通過多渠道的與顧客交

18、互接觸，在這個過程中，令顧客體驗了銀行精準(zhǔn)、體貼的服務(wù)，其結(jié)果是營業(yè)收入大為增加，成本大幅降低。,大數(shù)據(jù)商業(yè)價值---互聯(lián)網(wǎng)金融的核心是大數(shù)據(jù),34,互聯(lián)網(wǎng)金融并非簡單的把傳統(tǒng)金融業(yè)務(wù)搬到網(wǎng)上去，而是充分利用大數(shù)據(jù)來顛覆銀企之間信息不對稱的問題。 數(shù)據(jù)是一個平臺，因為數(shù)據(jù)是新產(chǎn)品和新商業(yè)模式的基石。 推動互聯(lián)網(wǎng)金融發(fā)展的核心正是大數(shù)據(jù)的價值。,大數(shù)據(jù)商業(yè)價值---所有互聯(lián)網(wǎng)公司都將是大數(shù)據(jù)公司,35,大數(shù)據(jù)商業(yè)價

19、值---數(shù)據(jù)列入企業(yè)資產(chǎn)負(fù)債表只是時間問題,36,用資產(chǎn)的要素來盤點(diǎn)一下什么樣的數(shù)據(jù)符合資產(chǎn)的要求：1，從擁有和控制的角度來看，數(shù)據(jù)可以分為第一方數(shù)據(jù)、第二方數(shù)據(jù)和第三方數(shù)據(jù)。2，對于數(shù)據(jù)資產(chǎn)的貨幣計量，可以參照無形資產(chǎn)的計量規(guī)則。3，目前直接利用數(shù)據(jù)為企業(yè)帶來經(jīng)濟(jì)利益的方法主要有數(shù)據(jù)租售、信息租售、數(shù)據(jù)使能三種模式。4，要實現(xiàn)數(shù)據(jù)的保值增值，就要從擴(kuò)大數(shù)據(jù)規(guī)模，提高數(shù)據(jù)活性，提升收集運(yùn)用數(shù)據(jù)的能力,大數(shù)據(jù)改變生活,37

20、,。,大數(shù)據(jù)對政府、金融機(jī)構(gòu)、企業(yè)來說，象空氣一樣不可或缺！,軟件是大數(shù)據(jù)的引擎,和數(shù)據(jù)中心（Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動力.軟件改變世界!,IBM C&P Industry,需求海量數(shù)據(jù)存儲技術(shù)實時數(shù)據(jù)處理技術(shù)數(shù)據(jù)高速傳輸技術(shù)搜索技術(shù),描述分布式文件系統(tǒng)流計算引擎服務(wù)器/存儲間高速通信文本檢索、智能搜索、實時搜

21、索,技術(shù)Hadoop，x86/MPPMap ReduceStreaming DataInfini BandEnterpriseSearch,數(shù)據(jù)分析技術(shù),Text Analytics Engine 自然語言處理、文本情感分析、Visual Data Modeling 機(jī)器學(xué)習(xí)、聚類關(guān)聯(lián)、數(shù)據(jù)模型,大數(shù)據(jù)涉及的關(guān)鍵技術(shù),,,,基于SQL語言: 面對OLAP的傳統(tǒng)行和列,不基

22、于SQL或map-reduce的: 由谷歌率先發(fā)起,數(shù)據(jù)流: 基于運(yùn)行商數(shù)據(jù)直接生成任意圖形,,,,,,數(shù)據(jù)入口/匯聚,數(shù)據(jù)平臺,分析,,,,,傳統(tǒng)交付模式 - 單片或基于設(shè)備的解決方案,,云: 能夠充分利用物理設(shè)施的彈性，以實現(xiàn)處理快速增長數(shù)據(jù)的能力,“數(shù)據(jù)庫將演變成一個虛擬的，基于云計算，超級可擴(kuò)展的分布式平臺?！? Forrester analyst Jim Kobielus,大數(shù)據(jù)涉及的關(guān)鍵技術(shù),,,,Co

23、pyright © 2012, Oracle and/or its affiliates. All rights reserved.,11,大數(shù)據(jù)涉及的關(guān)鍵技術(shù),,大數(shù)據(jù)的安全威脅,,大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅,大數(shù)據(jù)存儲安全威脅,隱私泄露問題,數(shù)據(jù)訪問安全威脅,針對大數(shù)據(jù)的高級持續(xù)性攻擊,其他安全威脅,大數(shù)據(jù)挑戰(zhàn),目錄,,一、大數(shù)據(jù)的來源,,三、大數(shù)據(jù)的關(guān)鍵性技術(shù),大數(shù)據(jù)主流工具,參見文檔。,,目錄,四、大數(shù)據(jù)的應(yīng)用,,一、大數(shù)

24、據(jù)的來源,,,,,,大數(shù)據(jù)業(yè)務(wù)戰(zhàn)略,大數(shù)據(jù)建設(shè)目標(biāo),大數(shù)據(jù)架構(gòu)設(shè)計,大數(shù)據(jù)實施,大數(shù)據(jù)運(yùn)維,企業(yè)戰(zhàn)略目標(biāo)業(yè)務(wù)目標(biāo)業(yè)務(wù)模式,大數(shù)據(jù)目標(biāo)服務(wù)對象服務(wù)模式應(yīng)用場景,大數(shù)據(jù)服務(wù)定義大數(shù)據(jù)信息模型大數(shù)據(jù)管理定義技術(shù)選擇,容量規(guī)劃安裝、配置驗收測試系統(tǒng)上線,大數(shù)據(jù)服務(wù)管理系統(tǒng)監(jiān)控資源調(diào)度生命周期管

25、理,服務(wù)性能管理,驗證測試大數(shù)據(jù)持續(xù)改進(jìn),架構(gòu)優(yōu)化,技術(shù)升級,服務(wù)改進(jìn),企業(yè)大數(shù)據(jù)建設(shè)方法,逐步擴(kuò)展現(xiàn)有架構(gòu)，滿足大數(shù)據(jù)要求：第 1 步：更深入地分析當(dāng)前數(shù)據(jù)第 2 步：針對數(shù)據(jù)多樣性和數(shù)據(jù)量進(jìn)行設(shè)計第 3 步：針對高數(shù)據(jù)速度設(shè)計第 4 步：發(fā)現(xiàn)新模式,提高,業(yè)務(wù)價值,企業(yè)大數(shù)據(jù)建設(shè)方法,信息分析,信息供應(yīng),(In-Database),數(shù)據(jù)挖掘,文本挖掘,統(tǒng)計分析,語義分析,空間地理分析,In-DB,Ma

26、pReduce,說明性分析預(yù)測分析,報告,儀表板,用戶層,最終客戶,供應(yīng)商,市場營銷,管理人員,客戶服務(wù),業(yè)務(wù)流程,合作伙伴,應(yīng)用系統(tǒng),數(shù)據(jù)沙箱（Sandbox),Distributed File Systems,NoSQL,Relational,Data Streams,文檔,多媒體,網(wǎng)絡(luò)和社交媒體,機(jī)器生成,大數(shù)據(jù)處理,大數(shù)據(jù)處理&發(fā)現(xiàn)海量非結(jié)構(gòu)化數(shù)據(jù)&流數(shù)據(jù)處理,信息發(fā)現(xiàn),數(shù)據(jù)轉(zhuǎn)化,存儲層

27、數(shù)據(jù)源,數(shù)據(jù)倉庫海量非結(jié)構(gòu)化&結(jié)構(gòu)化數(shù)據(jù)訪問，轉(zhuǎn)換和存儲,分析主題庫（數(shù)據(jù)集市）,Faceted Unstructured,Spatial/Relational,企業(yè)部門應(yīng)用,企業(yè)大數(shù)據(jù)建設(shè)方法,,目錄,五、成功案例,,一、大數(shù)據(jù)的來源,商品零售大數(shù)據(jù),50,此事經(jīng)被《紐約時報》報道后，塔吉特“大數(shù)據(jù)”的巨大威力轟動全美在美國，有一位父親怒氣沖沖地跑到塔吉特賣場，質(zhì)問為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高

28、中的女兒?然而后來證實，他的女兒果真懷孕了。這名女孩搜尋商品的關(guān)鍵詞，以及在社交網(wǎng)站所顯露的行為軌跡，使沃爾瑪捕捉到了她的懷孕信息。模型發(fā)現(xiàn)，許多孕婦在第2個妊娠期的開始會買許多大包裝的無香味護(hù)手霜；在懷孕的最初20周大量購買補(bǔ)充鈣、鎂、鋅的善存片之類的保健品。最后塔吉特選出了25種典型商品的消費(fèi)數(shù)據(jù)構(gòu)建了“懷孕預(yù)測指數(shù)”，通過這個指數(shù)，Target能夠在很小的誤差范圍內(nèi)預(yù)測到顧客的懷孕情況，因此Target就能早早地把孕婦

29、優(yōu)惠廣告寄發(fā)給顧客。,消費(fèi)大數(shù)據(jù),51,亞馬遜 “預(yù)測式發(fā)貨”的新專利，可以通過對用戶數(shù)據(jù)的分析，在他們還沒有下單購物前，提前發(fā)出包裹。這項技術(shù)可以縮短發(fā)貨時間，從而降低消費(fèi)者前往實體店的沖動。從下單到收貨之間的時間延遲可能會降低人們的購物意愿，導(dǎo)致他們放棄網(wǎng)上購物。所以，亞馬遜可能會根據(jù)之前的訂單和其他因素，預(yù)測用戶的購物習(xí)慣，從而在他們實際下單前便將包裹發(fā)出。根據(jù)該專利文件，雖然包裹會提前從亞馬遜發(fā)出，但在用戶正式下單前，這

30、些包裹仍會暫存在快遞公司的轉(zhuǎn)運(yùn)中心或卡車?yán)?。亞馬遜為了決定要運(yùn)送哪些貨物，亞馬遜可能會參考之前的訂單、商品搜索記錄、愿望清單、購物車，甚至包括用戶的鼠標(biāo)在某件商品上懸停的時間。,,大數(shù)據(jù)+政治,52,,在籌備過程中，奧巴馬背后的數(shù)據(jù)分析團(tuán)隊一直在收集、存儲和分析選民數(shù)據(jù)。在這次的大選中，奧巴馬競選陣營的高級助理們決定將參考這一團(tuán)隊所得出的數(shù)據(jù)分析結(jié)果來制定下一步的競選方案。利用在競選中可獲得的選民行動、行為、支持偏向方面的大量數(shù)

31、據(jù)。比如，在東海岸找到一位對女性群體具備相同號召力的名人，從而復(fù)制“克魯尼效應(yīng)”并為奧巴馬籌集競選資金。“Twitter的政治指數(shù)”提供了一個衡量社會化媒體平臺的用戶如何評價候選人的方式。奧巴馬積極的情緒指數(shù)是59，而羅姆尼的只有53,證監(jiān)會大數(shù)據(jù),53,回顧“老鼠倉”的查處過程，在馬樂一案中，“大數(shù)據(jù)”首次介入。深交所此前通過“大數(shù)據(jù)”查出的可疑賬戶高達(dá)300個。實際上，早在2009年，上交所曾經(jīng)有過利用“大數(shù)據(jù)”設(shè)置“捕

32、鼠器”的設(shè)想。通過建立相關(guān)的模型，設(shè)定一定的指標(biāo)預(yù)警，即相關(guān)指標(biāo)達(dá)到某個預(yù)警點(diǎn)時監(jiān)控系統(tǒng)會自動報警。而此次在馬樂案中亮相的深交所的“大數(shù)據(jù)” 監(jiān)測系統(tǒng)，更是引起了廣泛關(guān)注。深交所有幾十人的監(jiān)控室，設(shè)置了200多個指標(biāo)用于監(jiān)測估計，一旦出現(xiàn)股價偏離大盤走勢，深交所利用大數(shù)據(jù)查探異動背后是哪些人或機(jī)構(gòu)在參與。,金融大數(shù)據(jù),54,阿里“水文模型”是按小微企業(yè)類目、級別等分別統(tǒng)計一個阿里系商戶的相關(guān)“水文數(shù)據(jù)”庫。如過往每到某個時點(diǎn)，該

33、店鋪銷售會進(jìn)入旺季，銷售額就會增長，同時每在這個時段，該客戶對外投放的額度就會上升，結(jié)合這些水文數(shù)據(jù)，系統(tǒng)可以判斷出該店鋪的融資需求；結(jié)合該店鋪以往資金支用數(shù)據(jù)及同類店鋪資金支用數(shù)據(jù)，可以判斷出該店鋪的資金需求額度。,金融交易大數(shù)據(jù),55,量化交易，程序化交易，高頻交易是大數(shù)據(jù)應(yīng)用比較多的領(lǐng)域。全球2/3的股票交易量是由高頻交易所創(chuàng)造的，參與者總收益每年高達(dá)80億美元。其中，大數(shù)據(jù)算法被用來作出交易決定?，F(xiàn)在，大多數(shù)股權(quán)交易都是

34、通過大數(shù)據(jù)算法進(jìn)行，這些算法越來越多地開始考慮社交媒體網(wǎng)絡(luò)和新聞網(wǎng)站的信息來在幾秒內(nèi)做出買入和賣出的決定。當(dāng)一個產(chǎn)品可以在多個交易所交易時，會形成不同的定價，在這當(dāng)中，誰能夠最快地捕捉到同一個產(chǎn)品在不同交易所之間的顯著價差，誰就能捕捉到瞬間套利機(jī)會，技術(shù)成為了重要因素,,制造業(yè)大數(shù)據(jù),56,在摩托車生產(chǎn)廠商哈雷·戴維森公司位于賓尼法尼亞州約克市新翻新的摩托車制造廠，軟件不停的在記錄著微小的制造數(shù)據(jù)，如噴漆室風(fēng)扇的速度等等。

35、當(dāng)軟件察覺風(fēng)扇速度、溫度、濕度或其它變量脫離規(guī)定數(shù)值，它就會自動調(diào)節(jié)機(jī)械。哈雷·戴維森同時還使用軟件，還尋找制約公司每86秒完成一臺摩托車制造工作的瓶頸。最近，這家公司的管理者通過研究數(shù)據(jù)，認(rèn)為安裝后擋泥板的時間過長。通過調(diào)整工廠配置，哈雷·戴維森提高了安裝該配件的速度。美國一些紡織及化工生產(chǎn)商，根據(jù)從不同的百貨公司POS機(jī)上收集的產(chǎn)品銷售速度信息，將原來的18周送貨速度減少到3周，這對百貨公司分銷商來說，能以

36、更快的速度拿到貨物，減少倉儲。對生產(chǎn)商來說，積攢的材料倉儲也能減少很多。,57,谷歌基于每天來自全球的30 多億條搜索指令設(shè)立了一個系統(tǒng)，這個系統(tǒng)在2009 年甲流爆發(fā)之前就開始對美國各地區(qū)進(jìn)行“流感預(yù)報”，并推出了“谷歌流感趨勢”服務(wù)。谷歌在這項服務(wù)的產(chǎn)品介紹中寫道：搜索流感相關(guān)主題的人數(shù)與實際患有流感癥狀的人數(shù)之間存在著密切的關(guān)系。雖然并非每個搜索“流感”的人都患有流感，但谷歌發(fā)現(xiàn)了一些檢索詞條的組合并用特定的數(shù)學(xué)模型對其進(jìn)行分

37、析后發(fā)現(xiàn)，這些分析結(jié)果與傳統(tǒng)流感監(jiān)測系統(tǒng)監(jiān)測結(jié)果的相關(guān)性高達(dá)97%。這也就表示，谷歌公司能做出與疾控部門同樣準(zhǔn)確的傳染源位置判斷，并且在時間上提前了一到兩周。”,,醫(yī)療大數(shù)據(jù),能源大數(shù)據(jù),58,國際大石油公司一直都非常重視數(shù)據(jù)管理。如雪佛龍公司將5萬臺桌面系統(tǒng)與1800個公司站點(diǎn)連接，消除煉油、銷售與運(yùn)輸“下游系統(tǒng)”中的重復(fù)流程和系統(tǒng)，每年節(jié)省5000萬美元，過去4年已獲得了凈現(xiàn)值約為2億美元的回報。準(zhǔn)確預(yù)測太陽能和風(fēng)能需要分析

38、大量數(shù)據(jù)，包括風(fēng)速、云層等氣象數(shù)據(jù)。丹麥風(fēng)輪機(jī)制造商維斯塔斯( Vestas Wind Systems)，通過在世界上最大的超級計算機(jī)上部署IBM大數(shù)據(jù)解決方案，得以通過分析包括PB量級氣象報告＼潮汐相位、地理空間、衛(wèi)星圖像等結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)，優(yōu)化風(fēng)力渦輪機(jī)布局，有效提高風(fēng)力渦輪機(jī)的性能，為客戶提供精確和優(yōu)化的風(fēng)力渦輪機(jī)配置方案不但幫助客戶降低每千瓦時的成本，并且提高了客戶投資回報估計的準(zhǔn)確度，同時它將業(yè)務(wù)用戶請求的響應(yīng)時間從

39、幾星期縮短到幾小時。,交通大數(shù)據(jù),59,UPS最新的大數(shù)據(jù)來源是安裝在公司4.6萬多輛卡車上的遠(yuǎn)程通信傳感器，這些傳感器能夠傳回車速、方向、剎車和動力性能等方面的數(shù)據(jù)。收集到的數(shù)據(jù)流不僅能說明車輛的日常性能，還能幫助公司重新設(shè)計物流路線。大量的在線地圖數(shù)據(jù)和優(yōu)化算法，最終能幫助UPS實時地調(diào)配駕駛員的收貨和配送路線。該系統(tǒng)為UPS減少了8500萬英里的物流里程，由此節(jié)約了840萬加侖的汽油。,,,公安大數(shù)據(jù),60,大數(shù)據(jù)挖掘技術(shù)的底

40、層技術(shù)最早是英國軍情六處研發(fā)用來追蹤恐怖分子的技術(shù)。中國大數(shù)據(jù)的概念其實源于最早公安部抓法輪功分子。大數(shù)據(jù)篩選犯罪團(tuán)伙，與鎖定的罪犯乘坐同一班列車，住同一酒店的兩個人可能是同伙，過去，刑偵人員要證明這一點(diǎn)，需要通過把不同線索拼湊起來排查疑犯。通過對越來越多數(shù)據(jù)的挖掘分析，某一片區(qū)域的犯罪率以及犯罪模式都將清晰可見。大數(shù)據(jù)可以幫助警方定位最易受到不法分子侵?jǐn)_的區(qū)域，創(chuàng)建一張犯罪高發(fā)地區(qū)熱點(diǎn)圖和時間表。不但有利于警方精準(zhǔn)分配警力

41、，預(yù)防打擊犯罪，也能幫助市民了解情況，提高警惕。,文化傳媒大數(shù)據(jù),61,與傳統(tǒng)電視劇有別，《紙牌屋》是一部根據(jù)“大數(shù)據(jù)”制作的作品。制作方Netflix是美國最具影響力的影視網(wǎng)站之一，在美國本土有約2900萬的訂閱用戶。Netflix成功之處在于其強(qiáng)大的推薦系統(tǒng)Cinematch，該系統(tǒng)基于用戶視頻點(diǎn)播的基礎(chǔ)數(shù)據(jù)如評分、播放、快進(jìn)、時間、地點(diǎn)、終端等，儲存在數(shù)據(jù)庫后通過數(shù)據(jù)分析，計算出用戶可能喜愛的影片，并為他提供定制化的推薦。N

42、etflix發(fā)布的數(shù)據(jù)顯示，用戶在Netflix上每天產(chǎn)生3000多萬個行為，比如暫停、回放或者快進(jìn)，同時，用戶每天還會給出400萬個評分，以及300萬次搜索請求。Netflix遂決定用這些數(shù)據(jù)來制作一部電視劇，投資過億美元制作出《紙牌屋》。Netflix發(fā)現(xiàn)，其用戶中有很多人仍在點(diǎn)播1991年BBC經(jīng)典老片《紙牌屋》，這些觀眾中許多人喜歡大衛(wèi)·芬奇，觀眾大多愛看奧斯卡得主凱文·史派西的電影，由此Netflix邀

43、請大衛(wèi)·芬奇為導(dǎo)演，凱文·史派西為主演翻拍了《紙牌屋》這一政治題材劇。2013年2月《紙牌屋》上線后，用戶數(shù)增加了300萬，達(dá)到2920萬。,航空大數(shù)據(jù),62,Farecast 已經(jīng)擁有驚人的約2 000 億條飛行數(shù)據(jù)記錄。用來推測當(dāng)前網(wǎng)頁上的機(jī)票價格是否合理。作為一種商品，同一架飛機(jī)上每個座位的價格本來不應(yīng)該有差別。但實際上，價格卻千差萬別，其中緣由只有航空公司自己清楚。Farecast預(yù)測當(dāng)前的機(jī)票價格在未來