美國大數(shù)據(jù)研究與發(fā)展計劃

1、美國大數(shù)據(jù)研究與發(fā)展計劃,背景,美國大數(shù)據(jù)研究與發(fā)展計劃,20 世紀(jì)90年代初，美國數(shù)據(jù)倉庫之父比爾? 恩就多次在演講中提到“BIG DATA”，但受限于當(dāng)時的信息技術(shù)水平，大數(shù)據(jù)的理念未能真正建立起來。,大數(shù)據(jù)計劃的發(fā)展歷史,2005 年，美國IBM 公司出版了《無所不包的數(shù)據(jù)》一書，闡述了大規(guī)模收集數(shù)據(jù)如何改變企業(yè)公司的業(yè)務(wù)和人們的生活，這其中的“無所不包的數(shù)據(jù)就是指“大數(shù)據(jù)”。,大數(shù)據(jù)計劃的發(fā)展歷史,2010 年1 月，美國政府提

2、出了一系列主題為“我的大數(shù)據(jù)”的倡議與措施，以便美國公民可以更安全地獲取他們的個人數(shù)據(jù)，用來更好地處理私人領(lǐng)域的業(yè)務(wù)申請活動和服務(wù)；2010 年3 月，美國政府要求各部門實施自己的“大數(shù)據(jù)”戰(zhàn)略，實現(xiàn)從數(shù)據(jù)到知識、知識到?jīng)Q策、決策到行動的快速轉(zhuǎn)化。,大數(shù)據(jù)計劃的發(fā)展歷史,2011 年1 月，美國總統(tǒng)科技顧問委員會指出，大數(shù)據(jù)技術(shù)蘊含著重要的戰(zhàn)略價值，聯(lián)邦政府應(yīng)當(dāng)加大投資研發(fā)力度，并建議在美國國家科學(xué)技術(shù)委員會成立“大數(shù)據(jù)高級指導(dǎo)小組

3、”；2011 年6 月，美國麥肯錫全球研究院發(fā)布了題為《大數(shù)據(jù)：下一個創(chuàng)新、競爭和生產(chǎn)力的前沿》的研究報告，“大數(shù)據(jù)(BIG DATA)”一詞才真正“熱”起來。,大數(shù)據(jù)計劃的發(fā)展歷史,2012年3月29日，奧巴馬政府公布了“大數(shù)據(jù)研發(fā)計劃” （ Big Data Research and Development Initiative ）該計劃旨在改進(jìn)現(xiàn)有人們從海量和復(fù)雜的數(shù)據(jù)中獲取知識的能力，從而加速美國在科學(xué)與工程領(lǐng)域發(fā)明的

4、步伐，增強(qiáng)國家安全，轉(zhuǎn)變現(xiàn)有的教學(xué)和學(xué)習(xí)方式。,明確提出,1、首批共有6個聯(lián)邦部門宣布投資2億美元，共同提高收集、儲存、保留、管理、分析和共享海量數(shù)據(jù)所需核心技術(shù)的先進(jìn)性，并形成合力；    2、現(xiàn)聯(lián)邦政府對大數(shù)據(jù)研發(fā)的投入旨在提高美國的科學(xué)發(fā)現(xiàn)、環(huán)境與生物醫(yī)藥研究、教育和國家安全的能力；3、此計劃是對總統(tǒng)科技顧問委員會（PCAST）2011年提出的增加美國在大數(shù)據(jù)研發(fā)方面投入的建議的回應(yīng)；4、

5、OSTP專門成立了大數(shù)據(jù)高層指導(dǎo)小組。,投資與支持,1.增強(qiáng)科研能力，推進(jìn)科研方式轉(zhuǎn)變2.提高政府管理水平和決策能力3.抓住技術(shù)機(jī)遇，推進(jìn)經(jīng)濟(jì)發(fā)展,目的,內(nèi)容,美國大數(shù)據(jù)研究與發(fā)展計劃,大數(shù)據(jù)是一種大規(guī)模數(shù)據(jù)的管理和利用的商業(yè)模式和技術(shù)平臺的泛指。,大數(shù)據(jù)的定義,數(shù)據(jù)體量巨大，從 10 12 比特級別一直躍升到 10 15 比特級別數(shù)據(jù)具有多樣性，包括了網(wǎng)絡(luò)日志、視頻、圖片、地理位置等非結(jié)構(gòu)化的數(shù)據(jù)數(shù)據(jù)價值密度小，挖掘

6、大數(shù)據(jù)的價值類似沙里淘金數(shù)據(jù)處理速度快，需要具備實時處理能力,大數(shù)據(jù)的特點,數(shù)據(jù)規(guī)模呈現(xiàn)幾何級數(shù)增長的特征包括了所有數(shù)據(jù)類型的采集、分類、處理、分析和展現(xiàn)等多方面最終實現(xiàn)從大數(shù)據(jù)挖掘潛在巨大價值的目的,大數(shù)據(jù)與傳統(tǒng)海量數(shù)據(jù)的區(qū)別,針對大數(shù)據(jù)給美國信息安全帶來的挑戰(zhàn)，美國政府采取了把大數(shù)據(jù)研發(fā)上升為國家戰(zhàn)略、成立大數(shù)據(jù)研發(fā)管理機(jī)構(gòu)、研發(fā)大數(shù)據(jù)信息安全技術(shù)、大力推進(jìn)大數(shù)據(jù)中心建設(shè)、培養(yǎng)大數(shù)據(jù)信息安全人才、開展大數(shù)據(jù)研發(fā)多方合作等

7、一系列舉措，來加強(qiáng)國家的網(wǎng)絡(luò)和信息安全建設(shè)。,利用大數(shù)據(jù)的主要做法,奧巴馬總統(tǒng)上任伊始，號召公眾與私營部門利用數(shù)據(jù)的力量，提高生產(chǎn)力，改善生活質(zhì)量，服務(wù)大眾社會。,利用大數(shù)據(jù)的主要做法,2009 年，奧巴馬政府將大量數(shù)據(jù)庫向民眾開放，并且將許多數(shù)據(jù)公布在美國政府的中央信息交換庫——Data.gov 網(wǎng)站上。,利用大數(shù)據(jù)的主要做法,2010 年，美國國會通過更新法案，進(jìn)一步提高了數(shù)據(jù)采集精度和上報頻度。截至目前，網(wǎng)站上有超過40 萬種各類

8、原始數(shù)據(jù)文件，涵蓋了農(nóng)業(yè)、氣象、金融、就業(yè)、人口等近五十個門類，匯集了數(shù)千個應(yīng)用程序和軟件工具。,利用大數(shù)據(jù)的主要做法,以美國各級政府為主導(dǎo)依托高校和科研機(jī)構(gòu)，鼓勵廣泛參與，并以多種形式充分合作。包括聯(lián)邦政府機(jī)構(gòu)和各州政府，也包括高校、非政府組織和企業(yè)等組織形式上主要以具體項目為紐帶，研究目標(biāo)明確，任務(wù)具體。,計劃實施和各機(jī)構(gòu)任務(wù)分配,應(yīng)用,美國大數(shù)據(jù)研究與發(fā)展計劃,美國政府在基于大數(shù)據(jù)的信息網(wǎng)絡(luò)安全戰(zhàn)略方面，充分體現(xiàn)出了其一貫

9、特點：善于利用其綜合優(yōu)勢，在保持其領(lǐng)先的長期定位下，不斷推出變革性、引領(lǐng)性的信息網(wǎng)絡(luò)安全國家戰(zhàn)略，并通過有力的協(xié)調(diào)組織、迅速落實。可以形象地說是“常憂患、起得早、協(xié)調(diào)好、干的快、不動搖”。,美國大數(shù)據(jù)應(yīng)用,一些相關(guān)的公司已經(jīng)贊助大數(shù)據(jù)相關(guān)的比賽，并給大學(xué)提供這方面的研究資助。大學(xué)里也開始開設(shè)一門全新的研究型課程，培養(yǎng)下一代的“數(shù)據(jù)科學(xué)家”。一些無國界的組織幫助非營利性機(jī)構(gòu)對公益性服務(wù)的數(shù)據(jù)進(jìn)行采取、分析和可視化處理。白宮科技政

10、策辦公室將會非常有興趣支持建立一個跟大數(shù)據(jù)相關(guān)論壇，包括最新的公私組織之間的合作。,美國大數(shù)據(jù)應(yīng)用,六個聯(lián)邦政府的部門和機(jī)構(gòu)宣布新的2億美元的投資，用于大數(shù)據(jù)的應(yīng)用。項目涉及計算機(jī)、國防、生物、醫(yī)學(xué)、物理、地球、應(yīng)急、航天、社會等方方面面。六個聯(lián)邦部門為：國防部 (DOD)，國土安全部(DHS)，能源部 (DOE)，退伍軍人管理部(VA) ，衛(wèi)生和人類服務(wù)部(HHS)，美國國家安全局(NSA) 。,美國大數(shù)據(jù)應(yīng)用

11、,國防部 (DOD)多尺度異常檢測（ADAMS）項目Insight計劃Machine Reading 項目Mind's Eye 項目Mission-oriented Resilient Clouds 項目對加密數(shù)據(jù)的編程計算(PROCEED)的研究工作在視頻和圖像的檢索和分析工具(VIRAT)計劃,美國大數(shù)據(jù)應(yīng)用,國土安全部(DHS)卓越研究中

12、心和可視化數(shù)據(jù)分析（CVADA）退伍軍人管理部(VA)企業(yè)數(shù)據(jù)倉庫（CDW）基因組信息系統(tǒng)綜合科學(xué)(GenISIS)計劃美國國家安全局(NSA) 情報共同體（IC）項目,美國大數(shù)據(jù)應(yīng)用,能源部 (DOE)高性能存儲系統(tǒng)(HPSS)對千萬億次的數(shù)據(jù)的分析處理GridFTP的服務(wù)器開放科學(xué)網(wǎng)格生物和環(huán)境研究計劃（BER）系統(tǒng)生物學(xué)知識庫（Kbase）美國核數(shù)據(jù)計劃(USNDP),美國大數(shù)據(jù)應(yīng)用,衛(wèi)生和人類服務(wù)