大數(shù)據(jù)的發(fā)展和應(yīng)用

1、大數(shù)據(jù)的發(fā)展和應(yīng)用 大數(shù)據(jù)的發(fā)展和應(yīng)用摘要 摘要：大數(shù)據(jù)具有規(guī)模大、種類多、生成速度快、價值巨大但密度 低的特點(diǎn)。隨著互聯(lián)網(wǎng)的壯大以及云計(jì)算等技術(shù)的發(fā)展促進(jìn)了移動 云終端的進(jìn)步。大數(shù)據(jù)正成為時下越來越人們的領(lǐng)域。在前幾十年 就有很多學(xué)者語言到了它的到來，它正在成為一種不可避免的趨勢。 它將給我們的生活等各個方面帶來前所未有的改變，但是在此之前 也有一些問題需要我們?nèi)ソ鉀Q。關(guān)鍵詞 關(guān)鍵詞：大數(shù)據(jù)、云計(jì)算、數(shù)據(jù)、分析、移動終端、挑戰(zhàn)正如我們

2、過去大量生產(chǎn)汽車一樣，人類正被信息淹沒，卻渴望知識。 早在 1982 年世界預(yù)測大師、未來學(xué)家約翰奈斯比特就提到我們現(xiàn)在 大量生產(chǎn)信息，而在 2012 年 3 月 22 日，奧巴馬宣布美國政府投資 2 億美元啟動“大數(shù)據(jù)研究和發(fā)展計(jì)劃”。這是繼 1993 年美國宣布 “信息高速公路”計(jì)劃后的有一次重大科技發(fā)展部署。美國政府認(rèn) 為大數(shù)據(jù)是“未來的新石油”，并將對大數(shù)據(jù)的研究上升為國家意 志。Internet 的出現(xiàn)縮短了人與人、人與世界之

3、間的距離，整個世 界練成一個“地球村”，人們通過網(wǎng)絡(luò)無障礙交流、交換信息和協(xié) 同工作。與此同時，借助 Internet 的告訴發(fā)展、數(shù)據(jù)庫技術(shù)的成熟 和普及、高內(nèi)存高性能的存儲設(shè)備和存儲介質(zhì)的出現(xiàn)，人類在日常 學(xué)習(xí)、生活、工作中產(chǎn)生的數(shù)據(jù)量正以指數(shù)形式增長，呈現(xiàn)爆炸狀 態(tài)。1 簡介 簡介在過去的 20 年里，各個領(lǐng)域都出現(xiàn)了大規(guī)模的數(shù)據(jù)增長，包括醫(yī)療保健和科學(xué)傳感器、用戶生成數(shù)據(jù)、互聯(lián)網(wǎng)和金融公司、供應(yīng) 鏈系統(tǒng)等，與此同時，數(shù)據(jù)也成為一

4、種新的自然資源，亟待我們對 其加以合理、高效、充分的利用，使它能夠給人們的生活工作帶來 更大的效益和價值。在這種背景下，數(shù)據(jù)的數(shù)量不僅以指數(shù)形式遞 增，而且數(shù)據(jù)的結(jié)構(gòu)越來越趨于復(fù)雜化，這就賦予了大數(shù)據(jù)不同于 以往普通數(shù)據(jù)更加深層的內(nèi)涵。據(jù)著名咨詢公司 IDC 的統(tǒng)計(jì)，2011 年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為 1.8ZB，其中 75%來自于個人（主 要是圖片、視頻和音樂），遠(yuǎn)遠(yuǎn)超過人類有史以來所有印刷材料的 數(shù)據(jù)總量。Google 公司通

5、過大規(guī)模集群和 MapReduce 軟件，每月 處理的數(shù)據(jù)量超過 400PB；百度每天大約要處理幾十 PB 數(shù)據(jù)； Facebook 注冊用戶超過 10 億，每月上傳的照片超過 10 億張，每 天生成 300TB 以上的日志數(shù)據(jù)；淘寶網(wǎng)會員超過 3.7 億，在線商品 超過 8.8 億，每天交易數(shù)千萬筆，產(chǎn)生約 20TB 數(shù)據(jù)。與傳統(tǒng)的數(shù)繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián)，在互聯(lián)網(wǎng)時代，各種設(shè)備連成一個 整體。Velocity 即更快地滿足實(shí)時性

6、需求。Value 是其中最重要的 一點(diǎn)，即指大數(shù)據(jù)的價值密度低，因?yàn)閿?shù)據(jù)量巨大，所以真正有價 值的東西就顯得越少。2 國內(nèi)外現(xiàn)狀 國內(nèi)外現(xiàn)狀國外的現(xiàn)狀：早在 2009 年, 聯(lián)合國就啟動了 “全球脈動計(jì)劃”, 擬通過大數(shù)據(jù)推動落后地區(qū)的發(fā)展, 而 2012 年 1 月的世界經(jīng)濟(jì)論壇年會也 把“大數(shù)據(jù), 大影響” 作為重要議題之一。在美國, 2009 年至今,Data.gov(美國政府?dāng)?shù)據(jù)庫) 全面開放了 40 萬政府原始數(shù)據(jù)集, 大 數(shù)

7、據(jù)已成為美國國家創(chuàng)新戰(zhàn)略、國家安全戰(zhàn)略以及國家信息網(wǎng)絡(luò)安 全戰(zhàn)略的交叉領(lǐng)域和核心領(lǐng)域. 2012 年 3 月, 美國政府提出 “大 數(shù)據(jù)研究和發(fā)展倡議”, 發(fā)起全球開放政府?dāng)?shù)據(jù)運(yùn)動, 并投資 2 億 美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和應(yīng)用, 涉及 NSF,DARPA 等 6 個政 府部門和機(jī)構(gòu), 把大數(shù)據(jù)放在重要的戰(zhàn)略位置。 英國政府也將大數(shù) 據(jù)作為重點(diǎn)發(fā)展的科技領(lǐng)域, 在發(fā)展 8 類高新技術(shù)的 6 億英鎊投 資中, 大數(shù)據(jù)的注資占三成。 2

8、014 年 7 月, 歐盟委員會也呼吁各 成員國積極發(fā)展大數(shù)據(jù), 迎接 大數(shù)據(jù) 時代, 并將采取具體措施發(fā) 展大數(shù)據(jù)業(yè)務(wù)。例如建立大數(shù)據(jù)領(lǐng)域的公私合作關(guān)系，依托 “地平線 2020” 科研規(guī)劃, 創(chuàng)建開放式數(shù)據(jù)孵化器; 成立多個超級計(jì)算 中心，在成員國創(chuàng)建數(shù)據(jù)處理設(shè)施網(wǎng)絡(luò)。在學(xué)術(shù)界, 美國麻省理工大學(xué)計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室建立了大數(shù)據(jù)科學(xué)技術(shù)中心 (ISTC). ISTC 主要致力于加速科學(xué)與醫(yī) 藥發(fā)明、企業(yè)與行業(yè)計(jì)算, 并著重推動

9、在新的數(shù)據(jù)密集型應(yīng)用領(lǐng)域 的最終用戶體驗(yàn)的設(shè)計(jì)創(chuàng)新。 大數(shù)據(jù) ISTC 由 MIT 作為中心學(xué)校，研究專家們來自 MIT、加州大學(xué)圣巴巴拉分校、波特蘭州立大學(xué)、 布朗大學(xué)、華盛頓大學(xué)和斯坦福大學(xué)等 6 所大學(xué). 通過明確和資助 領(lǐng)域帶頭人，提供合作研究中心的方式，目標(biāo)是發(fā)掘共享、存儲和操作大數(shù)據(jù)的解決方案, 涉及 Intel, Microsoft, EMC 等多家國際 產(chǎn)業(yè)巨頭。 同時, 英國牛津大學(xué)成立了首個綜合運(yùn)用大數(shù)據(jù)的醫(yī)藥 衛(wèi)生