4大數(shù)據(jù)時(shí)代-思維變革---3更好

1、,,,,,1. 大數(shù)據(jù)時(shí)代的思維變革,,,,,,,,1. 大數(shù)據(jù)時(shí)代的思維變革——更好,“更好”——不是因果關(guān)系，而是相關(guān)關(guān)系,知道“是什么”就夠了，沒(méi)必要知道“為什么”。在大數(shù)據(jù)時(shí)代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。,關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵“是什么”，而不是“為什么”改變，從操作方式開(kāi)始大數(shù)據(jù)，改變?nèi)祟?lèi)探索世界的方法,林登與亞馬遜推薦系統(tǒng),1997年，林登，亞馬遜，推薦書(shū)籍1998年 “item-to-i

2、tem”協(xié)同過(guò)濾技術(shù)書(shū)評(píng)團(tuán)隊(duì)被解散 評(píng)論家所創(chuàng)造的銷(xiāo)售業(yè)績(jī)計(jì)算機(jī)生成內(nèi)容所產(chǎn)生的銷(xiāo)售業(yè)績(jī)海明威作品與菲茨杰拉德的書(shū)知道是什么就夠了，沒(méi)必要知道為什么據(jù)說(shuō)亞馬遜銷(xiāo)售額的三分之一都是來(lái)自于它的個(gè)性化推薦系統(tǒng)。,關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵,相關(guān)關(guān)系：相關(guān)關(guān)系的核心是量化兩個(gè)數(shù)據(jù)值之間的數(shù)理關(guān)系。強(qiáng)和弱通過(guò)給我們找到一個(gè)現(xiàn)象的良好的關(guān)聯(lián)物，相關(guān)關(guān)系可以幫助我們捕捉現(xiàn)在和預(yù)測(cè)未來(lái)。實(shí)例：沃爾瑪——蛋撻與颶風(fēng)生活中的相關(guān)關(guān)系身高與前臂

3、的長(zhǎng)度小數(shù)據(jù)時(shí)代的相關(guān)關(guān)系,,大數(shù)據(jù)時(shí)代的相關(guān)關(guān)系谷歌流感預(yù)測(cè)：5億個(gè)數(shù)學(xué)模型 建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測(cè)是大數(shù)據(jù)的核心。 數(shù)據(jù)驅(qū)動(dòng)的關(guān)于大數(shù)據(jù)的相關(guān)關(guān)系分析法，取代了基于假想的易出錯(cuò)的方法。大數(shù)據(jù)的相關(guān)關(guān)系分析法更準(zhǔn)確、更快，而且不易受偏見(jiàn)的影響。,實(shí)例,FICO提出“遵從醫(yī)囑評(píng)分”一系列變量→是否按時(shí)吃藥益百利 預(yù)測(cè)個(gè)人收入信用卡交易記錄→預(yù)測(cè)個(gè)人收入 1$證明一個(gè)人的收入狀況 10$中英人壽

4、保險(xiǎn)公司 申請(qǐng)人的健康隱患信用報(bào)告、市場(chǎng)分析報(bào)告→高血壓、糖尿病和抑郁癥 5$血液尿液樣本 130$美國(guó)折扣零售商塔吉特 懷孕預(yù)測(cè),預(yù)測(cè)分析法一個(gè)能發(fā)現(xiàn)可能的流行歌曲的算法系統(tǒng)防止機(jī)器失效和建筑倒塌異常情況與正常情況通過(guò)找出一個(gè)關(guān)聯(lián)物并監(jiān)控它，我們就能預(yù)測(cè)未來(lái)。實(shí)例：UPS與汽車(chē)維修預(yù)測(cè)2000年，60000輛 收集和分析數(shù)據(jù)的花費(fèi)比出現(xiàn)停產(chǎn)的損失小得多。,,當(dāng)收集、存儲(chǔ)和分析數(shù)據(jù)的成本較高的時(shí)候，應(yīng)該適當(dāng)

5、地丟棄一些數(shù)據(jù)。醫(yī)療設(shè)備獲取病人的數(shù)據(jù)安大略理工大學(xué) IBM 醫(yī)院卡羅琳·麥格雷戈 檢測(cè)處理即時(shí)的病人信息 早產(chǎn)兒病情診斷16個(gè)數(shù)據(jù)點(diǎn) 1260/秒在明顯感染癥狀出現(xiàn)的24小時(shí)之前，可發(fā)現(xiàn)早產(chǎn)兒的穩(wěn)定是病情感染前的準(zhǔn)備..,是什么，而不是為什么,在小數(shù)據(jù)時(shí)代，相關(guān)關(guān)系分析和因果分析都不容易，都耗費(fèi)巨大，都要從建立假設(shè)開(kāi)始。非線性關(guān)系小數(shù)據(jù)時(shí)代，計(jì)算機(jī)能力的不足限制了非線性關(guān)系的研究實(shí)例：幸福的非線性關(guān)系

6、因果關(guān)系是否存在不費(fèi)力的快速思維費(fèi)力的慢性思維實(shí)例：感冒、狂犬疫苗,,我們的直接愿望就是了解因果關(guān)系。即使無(wú)因果聯(lián)系存在，我們也還是會(huì)假定其存在。研究證明，這只是我們的認(rèn)知方式，與每個(gè)人的文化背景、生長(zhǎng)環(huán)境以及教育水平是無(wú)關(guān)的。當(dāng)我們看到兩件事情接連發(fā)生的時(shí)候，我們會(huì)習(xí)慣性地從因果關(guān)系的角度來(lái)看待它們。看看下面的三句話：,,弗雷德的父母遲到了；供應(yīng)商快到了；弗雷德生氣了?！ダ椎聻槭裁瓷鷼?快速思維模式使人們偏

7、向用因果聯(lián)系來(lái)看待周?chē)囊磺?，即使這種關(guān)系并不存在。冬天不戴帽子和感冒,狂犬疫苗這個(gè)例子來(lái)說(shuō)，1885年7月6日，法國(guó)化學(xué)家路易·巴斯德（Louis Pasteur）接診了一個(gè)9歲的小孩約瑟夫·梅斯特（Joseph Meister），他被帶有狂犬病毒的狗咬了。巴斯德剛剛研發(fā)出狂犬疫苗，也實(shí)驗(yàn)驗(yàn)證過(guò)效果了。梅斯特的父母就懇求巴斯德給他們的兒子注射一針。巴斯德做了，梅斯特活了下來(lái)。發(fā)布會(huì)上，巴斯德因?yàn)榘岩粋€(gè)小男

8、孩從死神手中救出而大受褒獎(jiǎng)。一般來(lái)說(shuō)，人被狂犬病狗咬后患上狂犬病的概率只有七分之一。,,相關(guān)關(guān)系很有用，不僅僅是因?yàn)樗転槲覀兲峁┬碌囊暯?，而且提供的視角都是很清晰的。而我們一旦把因果關(guān)系考慮進(jìn)去，這些視角就有可能被蒙蔽掉。實(shí)例：kaggle 二手車(chē)質(zhì)量競(jìng)賽 橙色的車(chē)因果是相關(guān)關(guān)系的一種。相關(guān)關(guān)系分析通常情況下能取代因果關(guān)系起作用，即使不可取代的情況下，它也能指導(dǎo)因果關(guān)系起作用。實(shí)例：曼哈頓沙井蓋的爆炸,改變，從操作開(kāi)始,實(shí)例：

9、曼哈頓沙井蓋爆炸每年，因沙井蓋內(nèi)部失火，紐約每年有很多沙井蓋會(huì)發(fā)生爆炸。聯(lián)合愛(ài)迪生電力公司（Con Edison）每年都會(huì)對(duì)沙井蓋進(jìn)行常規(guī)檢查和維修。2007年，聯(lián)合愛(ài)迪生電力公司向哥倫比亞大學(xué)的統(tǒng)計(jì)學(xué)家求助，希望他們通過(guò)對(duì)一些歷史數(shù)據(jù)的研究，預(yù)測(cè)出可能會(huì)出現(xiàn)問(wèn)題并且需要維修的沙井蓋。,改變，從操作開(kāi)始,這是一個(gè)復(fù)雜的大數(shù)據(jù)問(wèn)題。僅紐約，地下電纜就有15萬(wàn)公里；曼哈頓有大約51000個(gè)沙井蓋和服務(wù)設(shè)施，很多設(shè)施都是在愛(ài)迪生那

10、個(gè)時(shí)代建成的有二十分之一的電纜在1930年之前就鋪好了。1880以來(lái)的數(shù)據(jù)都保存著，卻很雜亂，,改變，從操作開(kāi)始,這是一個(gè)復(fù)雜的大數(shù)據(jù)問(wèn)題。僅紐約，地下電纜就有15萬(wàn)公里；曼哈頓有大約51000個(gè)沙井蓋和服務(wù)設(shè)施，很多設(shè)施都是在愛(ài)迪生那個(gè)時(shí)代建成的有二十分之一的電纜在1930年之前就鋪好了。1880以來(lái)的數(shù)據(jù)都保存著，卻很雜亂，,,負(fù)責(zé)這個(gè)項(xiàng)目的統(tǒng)計(jì)學(xué)家辛西亞·魯?。–ynthia Rudin）將雜亂的數(shù)據(jù)整理

11、好給機(jī)器處理發(fā)現(xiàn)了大型沙井蓋爆炸的106種預(yù)警情況。在布朗克斯（Bronx）的電網(wǎng)測(cè)試中，他們對(duì)2008年中期之前的數(shù)據(jù)都進(jìn)行了分析，并利用這些數(shù)據(jù)預(yù)測(cè)了2009年會(huì)出現(xiàn)問(wèn)題的沙井蓋。預(yù)測(cè)效果非常好，在他們列出的前10%的高危沙井蓋名單里，有44%的沙井蓋都發(fā)生了嚴(yán)重的事故。最重要的因素是這些電纜的使用年限和有沒(méi)有出現(xiàn)過(guò)問(wèn)題。,大數(shù)據(jù)，改變?nèi)祟?lèi)探索世界的方法,大量的數(shù)據(jù)從某種程度上意味著“理論的終結(jié)”?！?2008年，《連線

12、》主編克里斯·安德森大數(shù)據(jù)是在理論的基礎(chǔ)上形成的。理論貫穿于大數(shù)據(jù)的整個(gè)過(guò)程。數(shù)據(jù)的收集、分析、結(jié)果解讀,大數(shù)據(jù)帶來(lái)的思維方式的變化,處理的對(duì)象往往是全部數(shù)據(jù)，而不是部分?jǐn)?shù)據(jù)的采樣采樣的不合理會(huì)導(dǎo)致預(yù)測(cè)結(jié)果的偏差，在大數(shù)據(jù)時(shí)代，依靠強(qiáng)大的數(shù)據(jù)處理能力，應(yīng)該去處理全部的數(shù)據(jù)。不再執(zhí)迷于精確性精確的、規(guī)范化的、可以被傳統(tǒng)數(shù)據(jù)庫(kù)處理的數(shù)據(jù)只占全部數(shù)據(jù)的5%，必須接受不精確性才能處理另外95%的數(shù)據(jù)。錯(cuò)誤的數(shù)據(jù)是客觀存在