臧振立-論文綜述

1、文獻(xiàn)綜述大數(shù)據(jù)與企業(yè)的關(guān)系一、研究背景與動(dòng)態(tài)1大數(shù)據(jù)概念研究機(jī)構(gòu)Gartner的定義：大數(shù)據(jù)是指需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。維基百科的定義：大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營(yíng)決策目的的資訊。麥肯錫的定義：大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行采集、存儲(chǔ)、管理和分析的數(shù)據(jù)

2、集合。無(wú)論哪種定義，我們可以看出，大數(shù)據(jù)并不是一種新的產(chǎn)品也不是一種新的技術(shù)，就如同本世紀(jì)初提出的“海量數(shù)據(jù)”概念一樣，大數(shù)據(jù)只是數(shù)字化時(shí)代出現(xiàn)的一種現(xiàn)象。那么海量數(shù)據(jù)與大數(shù)據(jù)的差別何在從翻譯的角度看，“大數(shù)據(jù)”和“海量數(shù)據(jù)”均來(lái)自英文，“bigdata”翻譯為“大數(shù)據(jù)”，而“l(fā)argescaledata”或者“vastdata”則翻譯為“海量數(shù)據(jù)”。從組成的角度看，海量數(shù)據(jù)包括結(jié)構(gòu)化和半結(jié)構(gòu)化的交易數(shù)據(jù)，而大數(shù)據(jù)除此以外還包括非結(jié)構(gòu)化

3、數(shù)據(jù)和交互數(shù)據(jù)。Infmatica大中國(guó)區(qū)首席產(chǎn)品顧問(wèn)但彬進(jìn)一步指出，大數(shù)據(jù)意味著包括交易和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集，其規(guī)模或復(fù)雜程度超出了常用技術(shù)，按照合理的成本和時(shí)限捕捉、管理及處理這些數(shù)據(jù)集的能力?？梢?jiàn)，大數(shù)據(jù)由海量交易數(shù)據(jù)、海量交互數(shù)據(jù)和海量數(shù)據(jù)處理三大主要的技術(shù)趨勢(shì)匯聚而成。上個(gè)世紀(jì)60年代，數(shù)據(jù)一般存儲(chǔ)在文件中，由應(yīng)用程序直接管理；70年代構(gòu)建了關(guān)系數(shù)據(jù)模型，數(shù)據(jù)庫(kù)技術(shù)為數(shù)據(jù)存儲(chǔ)提供了新的手段；80年代中期，數(shù)據(jù)倉(cāng)庫(kù)由于具

4、有面向主題、集成性、時(shí)變性和非易失性特點(diǎn)，成為數(shù)據(jù)分析和聯(lián)機(jī)分析的重要平臺(tái)；隨著網(wǎng)絡(luò)的普及和web2.0網(wǎng)站的興起，基于Web的數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)等技術(shù)應(yīng)運(yùn)而生，能手機(jī)和社交網(wǎng)絡(luò)的廣泛使用，使得各種類型的數(shù)據(jù)呈指數(shù)增長(zhǎng)，漸漸超出了傳統(tǒng)關(guān)系型數(shù)據(jù)上，首次提出了“數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)（KDD）”的概念。1995年召開(kāi)了第一屆知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘國(guó)際學(xué)術(shù)會(huì)議，隨著與會(huì)人員的增多，KDD國(guó)際會(huì)議發(fā)展為年會(huì)。1998年在美國(guó)紐約舉行了第四屆知識(shí)發(fā)

5、現(xiàn)與數(shù)據(jù)挖掘國(guó)際學(xué)術(shù)會(huì)議，不僅進(jìn)行了學(xué)術(shù)討論，而且30多家軟件公司展示了自己的產(chǎn)品，比如，IBM公司研制的IntelligentMiner，用來(lái)提供數(shù)據(jù)挖掘的解決方案；SPSS股份公司開(kāi)發(fā)了基于決策樹(shù)的數(shù)據(jù)挖掘軟件Clementine；acle公司開(kāi)發(fā)的Darwin數(shù)據(jù)挖掘套件，另外還有SAS公司的Enterprise和SGI公司的MineSet等。經(jīng)濟(jì)利益成為主要的推動(dòng)力，IBM、ACLE、微軟、谷歌、亞馬遜、Facebook、Ter

6、adata、EMC、惠普等跨國(guó)巨頭也因大數(shù)據(jù)技術(shù)的發(fā)展而更加具有競(jìng)爭(zhēng)力。僅2009年一年，谷歌公司通過(guò)大數(shù)據(jù)業(yè)務(wù)對(duì)美國(guó)經(jīng)濟(jì)貢獻(xiàn)540億美元；2005年以來(lái)，IBM投資160億美元進(jìn)行30多次與大數(shù)據(jù)相關(guān)的收購(gòu)，使業(yè)績(jī)穩(wěn)定高速增長(zhǎng)，2012年，IBM股價(jià)每股突破200美元大關(guān)，3年內(nèi)翻了3番；eBay通過(guò)數(shù)據(jù)挖掘精確計(jì)算出廣告中每個(gè)關(guān)鍵字帶來(lái)的回報(bào)，2007年以來(lái)，廣告費(fèi)降低了99%，同時(shí)頂級(jí)賣家占總銷售額的百分比上升至32%；2011年

7、，F(xiàn)acebook首次公開(kāi)新數(shù)據(jù)處理分析平臺(tái)PUMA，通過(guò)對(duì)數(shù)據(jù)多處理環(huán)節(jié)區(qū)分優(yōu)化，相比之前單純采用Hadoop和Hive進(jìn)行處理的技術(shù)，數(shù)據(jù)分析周期從2天降到10秒以內(nèi)，效率提高數(shù)萬(wàn)倍。2012年3月，奧巴馬政府公布“大數(shù)據(jù)研發(fā)計(jì)劃”，旨在提高和改進(jìn)人們從海量、復(fù)雜的數(shù)據(jù)中獲取知識(shí)的能力，發(fā)展收集、儲(chǔ)存、保留、管理、分析和共享海量數(shù)據(jù)所需要的核心技術(shù)，大數(shù)據(jù)成為繼集成電路和互聯(lián)網(wǎng)之后信息科技關(guān)注的重點(diǎn)。與國(guó)外相比，國(guó)內(nèi)起步稍晚，還未形

8、成整體力量，企業(yè)使用數(shù)據(jù)挖掘技術(shù)尚不普遍但近幾年出現(xiàn)了蓬勃發(fā)展的態(tài)勢(shì)。我國(guó)國(guó)家自然科學(xué)基金于1993年首次支持對(duì)數(shù)據(jù)挖掘領(lǐng)域的研究項(xiàng)目。1999年，在北京召開(kāi)第三屆亞太地區(qū)知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘國(guó)際會(huì)議(PAKDD)，收到論文158篇。2011年，第十五屆PAKDD在深圳舉辦，會(huì)議就數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)、人工智能、機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域的主題進(jìn)行交流討論，反響熱烈。2012年6月9日，中國(guó)計(jì)算機(jī)學(xué)會(huì)常務(wù)理事會(huì)決定成立大數(shù)據(jù)專家委員會(huì)。2012年1