大數(shù)據(jù)與云計算(論文)

1、1大數(shù)據(jù)與云計算大數(shù)據(jù)與云計算摘要：摘要：近年來，大數(shù)據(jù)和云計算已經(jīng)成為社會各界關(guān)注的熱點話題。秉承“按需服務(wù)”理念的“云計算（Cloudcomputing）”正高速發(fā)展，“數(shù)據(jù)即資源”的“大數(shù)據(jù)（bigdata）”時代已經(jīng)來臨[1]。大數(shù)據(jù)利用對數(shù)據(jù)處理的實時性、有效性提出了更高要求，需要根據(jù)大數(shù)據(jù)特點對傳統(tǒng)的常規(guī)數(shù)據(jù)處理技術(shù)進行技術(shù)變革，形成適用于大數(shù)據(jù)收集、存儲、管理、處理、分析、共享和可視化的技術(shù)。如何更好地管理和利用大數(shù)據(jù)已經(jīng)

2、成為普遍關(guān)注的話題。大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn)，數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生。本文所提到的大數(shù)據(jù)包含著云計算，因為云計算是支撐大數(shù)據(jù)的平臺。關(guān)鍵詞關(guān)鍵詞:大數(shù)據(jù)云計算數(shù)據(jù)分析數(shù)據(jù)挖掘引言引言在學術(shù)界，大數(shù)據(jù)這一概念的提出相對較早。2008年9月，《自然》雜志就推出了名為“大數(shù)據(jù)”(bigdata)的?？?。2011年5月，麥肯錫全球研究院發(fā)布了名為《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》(Bigd

3、ata:Thenextfrontierfinnovation，competition，productivity)的研究報告，指出大數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)，對海量數(shù)據(jù)的有效利用將成為企業(yè)在競爭中取勝的最有力武器。2012年，聯(lián)合國發(fā)布大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)可以使用極為豐富的數(shù)據(jù)資源來對社會經(jīng)濟進行前所未有的實時分析，幫助政府更好地響應(yīng)社會和經(jīng)濟運行。2012年3月29日，奧巴馬政府發(fā)布了《大數(shù)據(jù)研究與發(fā)展計劃倡議》，宣布啟動對大數(shù)

4、據(jù)的研發(fā)計劃，標志著美國把大數(shù)據(jù)提高到國家戰(zhàn)略層面，將“大數(shù)據(jù)研究”上升為國家意志，對未來的科技與經(jīng)濟發(fā)展必將帶來深遠影響。大數(shù)據(jù)應(yīng)用正在風靡全球，大數(shù)據(jù)精準營銷成為企業(yè)掌舵者的口頭禪，那么大數(shù)據(jù)真的是無懈可擊嗎？答案顯然是否定的。隨著互聯(lián)網(wǎng)和移動設(shè)備的普及，大數(shù)據(jù)已經(jīng)在我們的生活中無處不在，而有關(guān)大數(shù)據(jù)與隱私的問題也日益受到關(guān)注。毫無疑問，未來可以獲得的個人數(shù)據(jù)量越多，其中的信息量就越大。只要擁有了足夠多的數(shù)據(jù)，我們甚至可能發(fā)現(xiàn)有關(guān)于

5、一個人的未來信息。另外市場是變化無常并且不可預期的，決策者的創(chuàng)造性思維并不能通過數(shù)據(jù)得以體現(xiàn)，相反，大數(shù)據(jù)在壓制創(chuàng)新。大數(shù)據(jù)搜集到的數(shù)據(jù)的真實性也有待檢驗。一個人獲得的數(shù)據(jù)和事實越多，預測就越有意義，人的判斷也就顯得愈發(fā)重要。人類、數(shù)據(jù)集和算法的協(xié)同進化將最終決定“大數(shù)據(jù)”究竟是會創(chuàng)造新財富，還是會摧毀舊價值。本文首先介紹了云計算的相關(guān)概念，云計算為大數(shù)據(jù)的誕生創(chuàng)造了物質(zhì)基礎(chǔ)，從而引出大數(shù)據(jù)的相關(guān)概念。通過大數(shù)據(jù)與云計算之間關(guān)系的比較，

6、使讀者對大數(shù)據(jù)與云計算有3數(shù)據(jù)中心進行運維和安全管理，對服務(wù)器上的數(shù)據(jù)和應(yīng)用具有所有權(quán)和控制權(quán)。云計算出現(xiàn)后，這種傳統(tǒng)的用戶服務(wù)提供者模式逐漸發(fā)展成私有云模式。私有云是由一個用戶組織（例如政府、軍隊，企業(yè)）建立運維的云計算平臺，專供組織內(nèi)部人員使用，不提供對外服務(wù)。私有云能夠體現(xiàn)云計算的部分優(yōu)勢，例如計算資源的統(tǒng)一管理和動態(tài)分配。但是，私有云仍要求組織購買基礎(chǔ)設(shè)施，建立大型數(shù)據(jù)中心，投入人力物力來維護數(shù)據(jù)中心的正常運轉(zhuǎn)，由此可見，私有云

7、系統(tǒng)提高了組織的IT成本，而且使云的規(guī)模受到了限制。由于私有云的開放性不高，在幾種部署模式中，私有云的安全威脅相對較少。社區(qū)云社區(qū)云(Communitycloud)：也稱為機構(gòu)云，云基礎(chǔ)設(shè)施由多個組織共同提供，平臺由多個組織共同管理。社區(qū)云被一些組織共享，為一個有共同關(guān)注點（例如，任務(wù)、安全需求、策略或政策準則等）的社區(qū)或大機構(gòu)提供服務(wù)。顯然，社區(qū)云的規(guī)模要大于私有云，多個私有云可通過VPN連接到一起組成社區(qū)云，以滿足多個私有云組織之間

8、整合和安全共享的需求。公有云公有云(Publiccloud)：公有云的基礎(chǔ)設(shè)施由一個提供云計算服務(wù)的大型運營組織建立和運維，該運營組織一般是擁有大量計算資源的IT巨頭，例如Google、微軟、Amazon、百度等大型企業(yè)。這些IT公司將云計算服務(wù)以“按需購買”的方式銷售給一般用戶或中小企業(yè)群體。用戶只需將請求提交給云計算系統(tǒng)，付費租用所需的資源和服務(wù)。對用戶來說，不需要再投入成本建立數(shù)據(jù)中心，不需要進行系統(tǒng)的維護，可以專心開發(fā)核心的應(yīng)用

9、服務(wù)。目前，亞馬遜的EC2、GoogleAppEngine、WindowsAzure[9]、百度云等都屬于公有云計算系統(tǒng)。由于公有云的開放性較高，而用戶又失去了對數(shù)據(jù)和計算的控制權(quán)，因此，與私有云相比，公有云的數(shù)據(jù)安全威脅更為突出?；旌显苹旌显?Hybridcloud)：云基礎(chǔ)設(shè)施是由兩種或兩種以上的云（私有云、社區(qū)云或公有云）組成，每種云仍然保持獨立，但用標準的或?qū)Ｓ玫募夹g(shù)將它們組合起來，具有數(shù)據(jù)和應(yīng)用程序的可移植性，例如混合云可以在