大數(shù)據(jù)研究現(xiàn)狀、問(wèn)題及趨勢(shì)

1、大數(shù)據(jù)研究：現(xiàn)狀、問(wèn)題及趨勢(shì)大數(shù)據(jù)研究：現(xiàn)狀、問(wèn)題及趨勢(shì)大數(shù)據(jù)；分布式處理；Hadoop；金融；電商一、大數(shù)據(jù)研究現(xiàn)狀（一）概念研究早在1980年代，阿爾文?托夫勒就提出過(guò)“大數(shù)據(jù)”的概念，直到2009年才成為炙手可熱的話題。大數(shù)據(jù)是一個(gè)抽象概念，各領(lǐng)域?qū)ζ涠x各不相同。麥肯錫最早提出“大數(shù)據(jù)”時(shí)代已經(jīng)到來(lái)?！吨婆_(tái)》的分析師團(tuán)隊(duì)將大數(shù)據(jù)定義為公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。中國(guó)人民大學(xué)的孟小峰院長(zhǎng)從數(shù)據(jù)量角度認(rèn)為100PB以上的

2、數(shù)據(jù)則是大數(shù)據(jù)；2013年有相關(guān)學(xué)者認(rèn)為大數(shù)據(jù)的概念準(zhǔn)確的講應(yīng)該是指大數(shù)據(jù)技術(shù)，指對(duì)海量數(shù)據(jù)的、新的、低成本的處理技術(shù)?？傊?，目前對(duì)于大數(shù)據(jù)尚未有一個(gè)公認(rèn)定義，應(yīng)基于大數(shù)據(jù)的特征來(lái)理解。2012年3月Teradata公司張錦滄從四個(gè)維度來(lái)解釋大數(shù)據(jù)的概念――三個(gè)V和一個(gè)C。三個(gè)V是指數(shù)據(jù)量大、數(shù)據(jù)種類多和數(shù)據(jù)增長(zhǎng)速度快，一個(gè)C指處理、升級(jí)或利用大數(shù)據(jù)的分析手段比處理結(jié)構(gòu)化數(shù)據(jù)要復(fù)雜的多。同年10月國(guó)際數(shù)據(jù)公司IDC補(bǔ)充到大數(shù)據(jù)還具有價(jià)值

3、性（Value），其價(jià)值往往呈現(xiàn)出稀疏性。隨后不久IBM公司又增加了真實(shí)性（Veracity）這一重要特征。（二）技術(shù)支持對(duì)于大數(shù)據(jù)的搜集、整理、分析及應(yīng)用都需要有相應(yīng)的技術(shù)來(lái)實(shí)現(xiàn)與支撐。從技術(shù)起源來(lái)看，相關(guān)學(xué)者認(rèn)為最初大數(shù)據(jù)技術(shù)是指需要處理的信息量過(guò)大，已超出一般電腦在處理數(shù)據(jù)時(shí)所能使用的內(nèi)存量，工程師們必須改進(jìn)處理數(shù)據(jù)的工具，這就劉啟濱在探討金融業(yè)的大數(shù)據(jù)管理時(shí)發(fā)現(xiàn)該行業(yè)存在大數(shù)據(jù)安全存儲(chǔ)和有效應(yīng)用的重要難題，金融行業(yè)大集中將導(dǎo)致大

4、數(shù)據(jù)激增。金融業(yè)業(yè)務(wù)種類和產(chǎn)品日漸豐富，導(dǎo)致存儲(chǔ)的數(shù)據(jù)類型更多，數(shù)據(jù)容量暴增，存儲(chǔ)要求更高。從金融管理目標(biāo)出發(fā)，因?yàn)榇髷?shù)據(jù)容量極大，保存就非常重要，因此需要整合各種數(shù)據(jù)源，建立集中的中央數(shù)據(jù)系統(tǒng)，形成大數(shù)據(jù)規(guī)模，創(chuàng)新管理方式和工具，有效利用大數(shù)據(jù)本身的特點(diǎn)，將NAS、SAN方式的存儲(chǔ)管理逐步深入到金融行業(yè)的數(shù)據(jù)存儲(chǔ)領(lǐng)域。同時(shí)他表示大數(shù)據(jù)正在從根本上改變著金融業(yè)業(yè)務(wù)模式，可以分析客戶交易數(shù)據(jù)，建立一段時(shí)間的回溯模型，并以此為基礎(chǔ)消除客戶的

5、欺詐行為。（二）電商行業(yè)在大數(shù)據(jù)時(shí)代，電商系統(tǒng)的訪問(wèn)量在爆長(zhǎng)，大數(shù)據(jù)量必然成為電商系統(tǒng)面對(duì)的最大挑戰(zhàn)，其產(chǎn)生的數(shù)據(jù)無(wú)疑還會(huì)繼續(xù)更新，且只增不減。而對(duì)于電商用戶除了功能以外電商系統(tǒng)網(wǎng)站的訪問(wèn)速度能否持續(xù)提供高質(zhì)量、高穩(wěn)定性的服務(wù)等都是影響用戶使用感覺(jué)的重要因素。因此，高珍、謝玉婧認(rèn)為應(yīng)對(duì)服務(wù)器和客戶端的實(shí)現(xiàn)做相應(yīng)的優(yōu)化。他們主要針對(duì)數(shù)據(jù)庫(kù)中大數(shù)據(jù)量處理的實(shí)現(xiàn)和數(shù)據(jù)庫(kù)設(shè)計(jì)、數(shù)據(jù)庫(kù)查詢優(yōu)化、算法優(yōu)化以及高效的利用索引方面做了闡述。王雍認(rèn)為在當(dāng)