大數(shù)據(jù)數(shù)據(jù)挖掘案例

1、大數(shù)據(jù)數(shù)據(jù)挖掘案例【篇一：大數(shù)據(jù)數(shù)據(jù)挖掘案例】本文為系列文，該篇為第一篇。下面是正文： 本文為系列文，該篇為第一篇。下面是正文： 簡(jiǎn)而言之，數(shù)據(jù)挖掘（ 簡(jiǎn)而言之，數(shù)據(jù)挖掘（data mining data mining）是有組織有目的地收集數(shù)據(jù)， ）是有組織有目的地收集數(shù)據(jù)，通過(guò)分析數(shù)據(jù)使之成為信息，從而在大量數(shù)據(jù)中尋找潛在規(guī)律以形 通過(guò)分析數(shù)據(jù)使之成為信息，從而在大量數(shù)據(jù)中尋找潛在規(guī)律以形 成規(guī)則或知識(shí)的技術(shù)。在本文中，我們從數(shù)據(jù)挖掘

2、的實(shí)例出發(fā)，并 成規(guī)則或知識(shí)的技術(shù)。在本文中，我們從數(shù)據(jù)挖掘的實(shí)例出發(fā)，并 以數(shù)據(jù)挖掘中比較經(jīng)典的分類算法入手，給讀者介紹我們?cè)鯓永?以數(shù)據(jù)挖掘中比較經(jīng)典的分類算法入手，給讀者介紹我們?cè)鯓永?數(shù)據(jù)挖掘的技術(shù)解決現(xiàn)實(shí)中出現(xiàn)的問(wèn)題。 數(shù)據(jù)挖掘的技術(shù)解決現(xiàn)實(shí)中出現(xiàn)的問(wèn)題。 數(shù)據(jù)挖掘是如何解決問(wèn)題的？ 數(shù)據(jù)挖掘是如何解決問(wèn)題的？本節(jié)通過(guò)幾個(gè)數(shù)據(jù)挖掘?qū)嶋H案例來(lái)詮釋如何通過(guò)數(shù)據(jù)挖掘解決商業(yè) 本節(jié)通過(guò)幾個(gè)數(shù)據(jù)挖掘?qū)嶋H案例來(lái)詮釋如何通過(guò)數(shù)據(jù)挖掘解決

3、商業(yè) 中遇到的問(wèn)題。下面關(guān)于 中遇到的問(wèn)題。下面關(guān)于“啤酒和尿不濕 啤酒和尿不濕”的故事是數(shù)據(jù)挖掘中最經(jīng) 的故事是數(shù)據(jù)挖掘中最經(jīng)典的案例。而 典的案例。而 target target 公司通過(guò) 公司通過(guò)“懷孕預(yù)測(cè)指數(shù) 懷孕預(yù)測(cè)指數(shù)”來(lái)預(yù)測(cè)女顧客是否懷 來(lái)預(yù)測(cè)女顧客是否懷孕的案例也是近來(lái)為數(shù)據(jù)挖掘?qū)W者最津津樂(lè)道的一個(gè)話題。 孕的案例也是近來(lái)為數(shù)據(jù)挖掘?qū)W者最津津樂(lè)道的一個(gè)話題。 尿不濕和啤酒很多人會(huì)問(wèn)，究竟數(shù)據(jù)挖掘能夠?yàn)槠髽I(yè)做些什么？下 尿

4、不濕和啤酒很多人會(huì)問(wèn)，究竟數(shù)據(jù)挖掘能夠?yàn)槠髽I(yè)做些什么？下 面我們通過(guò)一個(gè)在數(shù)據(jù)挖掘中最經(jīng)典的案例來(lái)解釋這個(gè)問(wèn)題 面我們通過(guò)一個(gè)在數(shù)據(jù)挖掘中最經(jīng)典的案例來(lái)解釋這個(gè)問(wèn)題—— ——一個(gè)關(guān)于尿不濕與啤酒的故事。超級(jí)商業(yè)零售連鎖巨無(wú)霸沃爾瑪公司 個(gè)關(guān)于尿不濕與啤酒的故事。超級(jí)商業(yè)零售連鎖巨無(wú)霸沃爾瑪公司 （wal mart wal mart）擁有世上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)之一。為了能夠準(zhǔn)確了 ）擁有世上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)之一。為了能夠準(zhǔn)確了解顧客在其

5、門(mén)店的購(gòu)買習(xí)慣，沃爾瑪對(duì)其顧客的購(gòu)物行為進(jìn)行了購(gòu) 解顧客在其門(mén)店的購(gòu)買習(xí)慣，沃爾瑪對(duì)其顧客的購(gòu)物行為進(jìn)行了購(gòu) 物籃關(guān)聯(lián)規(guī)則分析，從而知道顧客經(jīng)常一起購(gòu)買的商品有哪些。在 物籃關(guān)聯(lián)規(guī)則分析，從而知道顧客經(jīng)常一起購(gòu)買的商品有哪些。在沃爾瑪龐大的數(shù)據(jù)倉(cāng)庫(kù)里集合了其所有門(mén)店的詳細(xì)原始交易數(shù)據(jù)， 沃爾瑪龐大的數(shù)據(jù)倉(cāng)庫(kù)里集合了其所有門(mén)店的詳細(xì)原始交易數(shù)據(jù)， 在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾瑪利用數(shù)據(jù)挖掘工具對(duì)這些數(shù) 在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾

6、瑪利用數(shù)據(jù)挖掘工具對(duì)這些數(shù) 據(jù)進(jìn)行分析和挖掘。一個(gè)令人驚奇和意外的結(jié)果出現(xiàn)了： 據(jù)進(jìn)行分析和挖掘。一個(gè)令人驚奇和意外的結(jié)果出現(xiàn)了：“跟尿不濕 跟尿不濕一起購(gòu)買最多的商品竟是啤酒 一起購(gòu)買最多的商品竟是啤酒”！這是數(shù)據(jù)挖掘技術(shù)對(duì)歷史數(shù)據(jù)進(jìn)行 ！這是數(shù)據(jù)挖掘技術(shù)對(duì)歷史數(shù)據(jù)進(jìn)行分析的結(jié)果，反映的是數(shù)據(jù)的內(nèi)在規(guī)律。那么這個(gè)結(jié)果符合現(xiàn)實(shí)情 分析的結(jié)果，反映的是數(shù)據(jù)的內(nèi)在規(guī)律。那么這個(gè)結(jié)果符合現(xiàn)實(shí)情 況嗎？是否是一個(gè)有用的知識(shí)？是否有利用價(jià)值？ 況

7、嗎？是否是一個(gè)有用的知識(shí)？是否有利用價(jià)值？ 為了驗(yàn)證這一結(jié)果，沃爾瑪派出市場(chǎng)調(diào)查人員和分析師對(duì)這一結(jié)果 為了驗(yàn)證這一結(jié)果，沃爾瑪派出市場(chǎng)調(diào)查人員和分析師對(duì)這一結(jié)果 進(jìn)行調(diào)查分析。經(jīng)過(guò)大量實(shí)際調(diào)查和分析，他們揭示了一個(gè)隱藏在 進(jìn)行調(diào)查分析。經(jīng)過(guò)大量實(shí)際調(diào)查和分析，他們揭示了一個(gè)隱藏在 “尿不濕與啤酒 尿不濕與啤酒”背后的美國(guó)消費(fèi)者的一種行為模式： 背后的美國(guó)消費(fèi)者的一種行為模式：在美國(guó)，到超市去買嬰兒尿不濕是一些年輕的父親下班后的日常工

8、在美國(guó)，到超市去買嬰兒尿不濕是一些年輕的父親下班后的日常工 作，而他們中有 作，而他們中有 30% 30%～40% 40%的人同時(shí)也會(huì)為自己買一些啤酒。產(chǎn)生 的人同時(shí)也會(huì)為自己買一些啤酒。產(chǎn)生這一現(xiàn)象的原因是：美國(guó)的太太們常叮囑她們的丈夫不要忘了下班 這一現(xiàn)象的原因是：美國(guó)的太太們常叮囑她們的丈夫不要忘了下班 后為小孩買尿不濕，而丈夫們?cè)谫I尿不濕后又隨手帶回了他們喜歡 后為小孩買尿不濕，而丈夫們?cè)谫I尿不濕后又隨手帶回了他們喜歡 的啤酒。

9、另一種情況是丈夫們?cè)谫I啤酒時(shí)突然記起他們的責(zé)任，又 的啤酒。另一種情況是丈夫們?cè)谫I啤酒時(shí)突然記起他們的責(zé)任，又 去買了尿不濕。既然尿不濕與啤酒一起被購(gòu)買的機(jī)會(huì)很多，那么沃 去買了尿不濕。既然尿不濕與啤酒一起被購(gòu)買的機(jī)會(huì)很多，那么沃其訪問(wèn)內(nèi)容的信息，但擁有了這些信息卻不等于能夠充分利用這些 其訪問(wèn)內(nèi)容的信息，但擁有了這些信息卻不等于能夠充分利用這些 信息。 信息。 那么如果將這些數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉(cāng)庫(kù)中呢？這些帶有大量信息的數(shù) 那么如果將這些

10、數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉(cāng)庫(kù)中呢？這些帶有大量信息的數(shù) 據(jù)借助數(shù)據(jù)倉(cāng)庫(kù)報(bào)告系統(tǒng)（一般稱作在線分析處理系統(tǒng)），雖然能 據(jù)借助數(shù)據(jù)倉(cāng)庫(kù)報(bào)告系統(tǒng)（一般稱作在線分析處理系統(tǒng)），雖然能 給出可直接觀察到的和相對(duì)簡(jiǎn)單直接的信息，卻也不能告訴網(wǎng)站其 給出可直接觀察到的和相對(duì)簡(jiǎn)單直接的信息，卻也不能告訴網(wǎng)站其信息模式及怎樣對(duì)其進(jìn)行處理，而且它一般不能分析復(fù)雜信息。所 信息模式及怎樣對(duì)其進(jìn)行處理，而且它一般不能分析復(fù)雜信息。所 以對(duì)于這些相對(duì)復(fù)雜的信息或是不那么直

11、觀的問(wèn)題，我們就只能通 以對(duì)于這些相對(duì)復(fù)雜的信息或是不那么直觀的問(wèn)題，我們就只能通 過(guò)數(shù)據(jù)挖掘技術(shù)來(lái)解決，即通過(guò)機(jī)器學(xué)習(xí)算法，找到數(shù)據(jù)庫(kù)中的隱 過(guò)數(shù)據(jù)挖掘技術(shù)來(lái)解決，即通過(guò)機(jī)器學(xué)習(xí)算法，找到數(shù)據(jù)庫(kù)中的隱 含模式，報(bào)告結(jié)果或按照結(jié)果執(zhí)行。為了讓電子商務(wù)網(wǎng)站能夠充分 含模式，報(bào)告結(jié)果或按照結(jié)果執(zhí)行。為了讓電子商務(wù)網(wǎng)站能夠充分 應(yīng)用數(shù)據(jù)挖掘技術(shù)，我們需要采集更加全面的數(shù)據(jù)，采集的數(shù)據(jù)越 應(yīng)用數(shù)據(jù)挖掘技術(shù)，我們需要采集更加全面的數(shù)據(jù)，采集的數(shù)據(jù)

12、越 全面，分析就能越精準(zhǔn)。在實(shí)際操作中，有以下幾個(gè)方面的數(shù)據(jù)可 全面，分析就能越精準(zhǔn)。在實(shí)際操作中，有以下幾個(gè)方面的數(shù)據(jù)可 以被采集： 以被采集： 訪客的系統(tǒng)屬性特征。比如所采用的操作系統(tǒng)、瀏覽器、域名和訪 訪客的系統(tǒng)屬性特征。比如所采用的操作系統(tǒng)、瀏覽器、域名和訪 問(wèn)速度等。訪問(wèn)特征。包括停留時(shí)間、點(diǎn)擊的 問(wèn)速度等。訪問(wèn)特征。包括停留時(shí)間、點(diǎn)擊的 url url 等。條款特征。包 等。條款特征。包括網(wǎng)絡(luò)內(nèi)容信息類型、內(nèi)容分類和來(lái)訪 括

13、網(wǎng)絡(luò)內(nèi)容信息類型、內(nèi)容分類和來(lái)訪 url url 等。產(chǎn)品特征。包括所訪 等。產(chǎn)品特征。包括所訪問(wèn)的產(chǎn)品編號(hào)、產(chǎn)品目錄、產(chǎn)品顏色、產(chǎn)品價(jià)格、產(chǎn)品利潤(rùn)、產(chǎn)品 問(wèn)的產(chǎn)品編號(hào)、產(chǎn)品目錄、產(chǎn)品顏色、產(chǎn)品價(jià)格、產(chǎn)品利潤(rùn)、產(chǎn)品 數(shù)量和特價(jià)等級(jí)等。當(dāng)訪客訪問(wèn)該網(wǎng)站時(shí)，以上有關(guān)此訪客的數(shù)據(jù) 數(shù)量和特價(jià)等級(jí)等。當(dāng)訪客訪問(wèn)該網(wǎng)站時(shí)，以上有關(guān)此訪客的數(shù)據(jù) 信息便會(huì)逐漸被積累起來(lái)，那么我們就可以通過(guò)這些積累而成的數(shù) 信息便會(huì)逐漸被積累起來(lái)，那么我們就可以通過(guò)這

14、些積累而成的數(shù) 據(jù)信息整理出與這個(gè)訪客有關(guān)的信息以供網(wǎng)站使用?？梢哉沓尚?據(jù)信息整理出與這個(gè)訪客有關(guān)的信息以供網(wǎng)站使用。可以整理成型 的信息大致可以分為以下幾個(gè)方面： 的信息大致可以分為以下幾個(gè)方面： 訪客的購(gòu)買歷史以及廣告點(diǎn)擊歷史。訪客點(diǎn)擊的超鏈接的歷史信息。 訪客的購(gòu)買歷史以及廣告點(diǎn)擊歷史。訪客點(diǎn)擊的超鏈接的歷史信息。 訪客的總鏈接機(jī)會(huì)（提供給訪客的超級(jí)鏈接）。訪客總的訪問(wèn)時(shí)間。 訪客的總鏈接機(jī)會(huì)（提供給訪客的超級(jí)鏈接）。訪客總的

15、訪問(wèn)時(shí)間。 訪客所瀏覽的全部網(wǎng)頁(yè)。訪客每次會(huì)話的產(chǎn)出利潤(rùn)。訪客每個(gè)月的 訪客所瀏覽的全部網(wǎng)頁(yè)。訪客每次會(huì)話的產(chǎn)出利潤(rùn)。訪客每個(gè)月的訪問(wèn)次數(shù)及上一次的訪問(wèn)時(shí)間等。訪客對(duì)于商標(biāo)總體正面或負(fù)面的 訪問(wèn)次數(shù)及上一次的訪問(wèn)時(shí)間等。訪客對(duì)于商標(biāo)總體正面或負(fù)面的 評(píng)價(jià)。分類：從人臉識(shí)別系統(tǒng)說(shuō)起美國(guó)電視劇《反恐 評(píng)價(jià)。分類：從人臉識(shí)別系統(tǒng)說(shuō)起美國(guó)電視劇《反恐 24 24 小時(shí)》中有 小時(shí)》中有一集，當(dāng)一個(gè)恐怖分子用手機(jī)撥打了一個(gè)電話，從 一集，當(dāng)一個(gè)恐

16、怖分子用手機(jī)撥打了一個(gè)電話，從 ctu ctu（反恐部隊(duì)） （反恐部隊(duì)）的計(jì)算機(jī)系統(tǒng)中便立刻發(fā)出恐怖分子出現(xiàn)的預(yù)警。很多好萊塢的大 的計(jì)算機(jī)系統(tǒng)中便立刻發(fā)出恐怖分子出現(xiàn)的預(yù)警。很多好萊塢的大 片中此類智能系統(tǒng)的應(yīng)用也比比皆是，它能從茫茫人群中實(shí)時(shí)找出 片中此類智能系統(tǒng)的應(yīng)用也比比皆是，它能從茫茫人群中實(shí)時(shí)找出 正在苦苦追蹤的恐怖分子或間諜。而在 正在苦苦追蹤的恐怖分子或間諜。而在 2008 2008 年北京奧運(yùn)會(huì)上，最引 年北京奧運(yùn)會(huì)上

17、，最引人注意的 人注意的 it it 熱點(diǎn)莫過(guò)于 熱點(diǎn)莫過(guò)于“實(shí)時(shí)人臉識(shí)別技術(shù) 實(shí)時(shí)人臉識(shí)別技術(shù)”在奧運(yùn)會(huì)安檢系統(tǒng)中的 在奧運(yùn)會(huì)安檢系統(tǒng)中的應(yīng)用，這種技術(shù)通過(guò)對(duì)人臉關(guān)鍵部位的數(shù)據(jù)采集，讓系統(tǒng)能夠精確 應(yīng)用，這種技術(shù)通過(guò)對(duì)人臉關(guān)鍵部位的數(shù)據(jù)采集，讓系統(tǒng)能夠精確 地識(shí)別出所有進(jìn)出奧運(yùn)場(chǎng)館的觀眾身份。 地識(shí)別出所有進(jìn)出奧運(yùn)場(chǎng)館的觀眾身份。目前人臉識(shí)別技術(shù)正廣泛的應(yīng)用于各種安檢系統(tǒng)中，警方只需將犯 目前人臉識(shí)別技術(shù)正廣泛的應(yīng)用于各種安檢系統(tǒng)中，