大數(shù)據(jù)論文

1、大數(shù)據(jù)與計算機摘要摘要：隨著網(wǎng)絡信息化時代的日益普遍，移動互聯(lián)，社交網(wǎng)絡，電子商務大大擴展了互聯(lián)網(wǎng)的疆界和應用領域，我們正處在一個數(shù)據(jù)爆炸性增長的“大數(shù)據(jù)”時代，大數(shù)據(jù)在社會經(jīng)濟、政治、文化、人們生活等方面產(chǎn)生深遠的影響，大數(shù)據(jù)對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)與機遇。一、大數(shù)據(jù)產(chǎn)生的背景一、大數(shù)據(jù)產(chǎn)生的背景早幾年人們把大規(guī)模數(shù)據(jù)稱為“海量數(shù)據(jù)”，但實際上，大數(shù)據(jù)(BigData)這個概念早在2008年就已被提出。2008年，在Goog

2、le成立10周年之際，著名的《自然》雜志出版了一期?？瑢ｉT討論未來的大數(shù)據(jù)處理相關的一系列技術問題和挑戰(zhàn)，其中就提出了“BigData”的概念。進入2012年以來，大數(shù)據(jù)(BigData)一次越來越多地被提及與使用，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，它已經(jīng)出現(xiàn)過在《紐約時報》、《華爾街日報》的專欄封面，進入美國白宮網(wǎng)的新聞，現(xiàn)身在國內一些互聯(lián)網(wǎng)主題的講座沙龍中，甚至被嗅覺靈敏的國君證券、國泰君安、銀河證券等寫進了投資推薦

3、報告、，大數(shù)據(jù)時代來臨了。有人說21世紀是數(shù)據(jù)信息時代，移動互聯(lián)、社交網(wǎng)絡、電子商務大大拓展了互聯(lián)網(wǎng)的疆界和應用領域，我們在享受便利的同時，也無償?shù)刎暙I了自己的“行蹤”?，F(xiàn)在互聯(lián)網(wǎng)不但知道對面是一只狗，還知道這只狗喜歡什么食物，幾點出去遛彎，幾點回窩睡覺。我們不得不接受這個現(xiàn)實，每個人在互聯(lián)網(wǎng)進入冬大數(shù)據(jù)時代時，都將是透明的存在。各種數(shù)據(jù)政治迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然現(xiàn)在企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性帶來問題的隱患，按

4、時隨著時間的推移，人們將越來越多地意識到數(shù)據(jù)對企業(yè)的重要性，大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了起那所謂有的空間與潛力。正如《紐約時報》2012年2月的一片專欄中所稱：“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟及其他領域中，越策將日益基于數(shù)據(jù)和分析而做出，而并非基于經(jīng)驗和直覺。哈佛大學社會學教授加里金說：“這是一場革命，龐大的數(shù)據(jù)資源使各個領域開始了量化進程，無論學術界、商界還是政府，所有領

5、域都將開始這種進程。”二、什么是大數(shù)據(jù)什么是大數(shù)據(jù)大數(shù)據(jù)(bigdata)，或稱巨量資料、海量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。進一步，當今大數(shù)據(jù)的重點其實已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義，它更代表著信息技術發(fā)展進入了一個新的時代，代表著爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計算技術和信息技術帶來的技術挑戰(zhàn)和困難，代表著大數(shù)據(jù)處理所需的新的技術和方法，

6、也應，國內幾乎所有著名的IT企業(yè)，如百度、騰訊、阿里巴巴、奇虎360等，都是大量需要大數(shù)據(jù)技術人才的公司四、四、大數(shù)據(jù)時代的人才需求大數(shù)據(jù)時代的人才需求許多企業(yè)充斥著大數(shù)據(jù)，這為了解和預測客戶喜好和市場發(fā)展提供了大好機會。因為在競爭異常激烈的全球經(jīng)濟環(huán)境下，擁有正確的信息就意味著擁有競爭優(yōu)勢。不過這里有一個方面要注意。想成功地駕馭海量信息，公司就需要擁有相應技能的人才能如愿以償。這些人要知道如何管理數(shù)據(jù)，建立分析系統(tǒng)，并且?guī)椭庾x數(shù)據(jù)。

7、下面是有望在大數(shù)據(jù)時代發(fā)揮作用的崗位：系統(tǒng)管理員負責集群的日常運作，可能直接或間接地管理硬件部件，確定對額外應硬件的需求，并且實際部署硬件，系統(tǒng)管理員的職責還包括檢測和配置。開發(fā)人員負責搭建平臺、開發(fā)新型應用程序。開發(fā)人員可能更熟悉工具或算法，他們可能要編程、包裝、優(yōu)化或者部署不同的MapReduce事務。開發(fā)人員將收集和維護不同的代碼庫，他們的角色類似數(shù)據(jù)庫領域的數(shù)據(jù)庫管理員（DBA）。數(shù)據(jù)分析員數(shù)據(jù)科學家數(shù)據(jù)分析員和數(shù)據(jù)科學家其實屬

8、于同一類。這些專業(yè)人員運用算法來解決分析問題，并且從事數(shù)據(jù)挖掘工作。數(shù)據(jù)分析員最大的本事就是能夠讓數(shù)據(jù)道出真相。此外，他們可能擁有某個領域的專長。他們將幫助開發(fā)數(shù)據(jù)產(chǎn)品，幫助開發(fā)推動業(yè)務發(fā)展的數(shù)據(jù)解決方案。數(shù)據(jù)專員最終負責收集高質量的數(shù)據(jù)。數(shù)據(jù)專員匯總所有進入企業(yè)的數(shù)據(jù)，并且編成目錄。企業(yè)里面存在著大量的數(shù)據(jù)，Hadoop可以將這些數(shù)據(jù)集中起來?！按髷?shù)據(jù)“是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多