大數(shù)據(jù)發(fā)展跟蹤研究報告

1、中國電信廣州研究院2012年10月,,大數(shù)據(jù)發(fā)展跟蹤研究報告,目錄,大數(shù)據(jù)發(fā)展趨勢概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,全球進入大數(shù)據(jù)時代，數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢,隨著互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)、數(shù)碼設備、物聯(lián)網(wǎng)/傳感器等技術(shù)的發(fā)展，全球數(shù)據(jù)生產(chǎn)在高速增長 信息處理技術(shù)的發(fā)展使數(shù)據(jù)價值能夠被更好地挖掘和利用傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法應對新的挑戰(zhàn),來源：IDC數(shù)字宇宙研究報告，2011.11,據(jù)IDC預測，未來10年全球數(shù)據(jù)量將以4

2、0+%的速度增長，2020年全球數(shù)據(jù)量將達到35ZB （35,000,000PB），為2009年（0.8ZB）的44倍,大數(shù)據(jù)成為繼云計算等之后的全球性新熱點,,“大數(shù)據(jù)”關(guān)鍵詞在全球范圍內(nèi)迅速升溫 短短兩年間，“大數(shù)據(jù)”關(guān)鍵詞的搜索量指數(shù)雙倍增長,數(shù)據(jù)來源：百度搜索量統(tǒng)計,麥肯錫全球研究機構(gòu)發(fā)布，認為大數(shù)據(jù)是創(chuàng)新、競爭和生產(chǎn)力的下一個前沿領(lǐng)域，數(shù)據(jù)將會給社會帶來更大的價值 大數(shù)據(jù)將在政府公共服務、醫(yī)療服務、零售業(yè)、制造業(yè)、以及涉及

3、個人位置服務等領(lǐng)域得到廣泛應用，并產(chǎn)生巨大的社會價值和產(chǎn)業(yè)空間預測2020年，大數(shù)據(jù)應用市場規(guī)模將達到近2600 億美元,大數(shù)據(jù)市場前景廣闊，成為全球新的經(jīng)濟增長點,各國政府高度重視大數(shù)據(jù)，上升到國家戰(zhàn)略高度,美國：奧巴馬政府3.29宣布“Big Data Research and Development Initiative” 將投入超過2億美元推動大數(shù)據(jù)提取、存儲、分析、共享、可視化等領(lǐng)域的研究，并將其與歷史上對超級計算和互聯(lián)網(wǎng)

4、的投資相提并論,中國：工信部物聯(lián)網(wǎng)十二五規(guī)劃信息處理技術(shù)作為4 項關(guān)鍵技術(shù)創(chuàng)新工程之一被提出包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘等,,國外互聯(lián)網(wǎng)公司走在大數(shù)據(jù)應用前沿,Google開放BigQuery服務：將企業(yè)數(shù)據(jù)分析能力商品化，成為收費線上服務；統(tǒng)計機器翻譯(statistical machine translation)：利用龐大的已經(jīng)翻譯好的文件輸入電腦，然后由電腦通過識別庫存的句式來進行翻譯，而不是只通過語法規(guī)則和詞庫進行翻譯。,

5、Twitter 利用大數(shù)據(jù)技術(shù)，預測豬流感等流行性疾病爆發(fā)。研究人員收集超過5000萬條基于地緣位置的twitter消息，然后按區(qū)域與英國國家衛(wèi)生服務部的官方禽流感數(shù)據(jù)進行了比較。通過從數(shù)據(jù)庫中找出與禽流感相關(guān)的關(guān)鍵詞，Lampos能夠創(chuàng)造出一個將未來twitter消息中流感發(fā)病情況的關(guān)鍵詞轉(zhuǎn)化為某一特定地區(qū)流感嚴重程度的模型,國外運營商利用大數(shù)據(jù)已有初步應用,按流量種類的固定收費，解除用戶流量后顧之憂培養(yǎng)用戶使用數(shù)據(jù)業(yè)務習慣，增強

6、用戶粘性針對預付費用戶群，擴大流量收入面向智能終端用戶面向低端、高度同質(zhì)化競爭市場,西班牙電信：包月流量套餐定制（根據(jù)客戶訪問內(nèi)容和SLA要求，提供不同費率套餐）,T-Mobile：應用大數(shù)據(jù)技術(shù)，降低客戶流失率。在多個IT系統(tǒng)中整合了大數(shù)據(jù)應用，對客戶交易和互動數(shù)據(jù)進行綜合分析，更準確地預測客戶流失率。通過將社交媒體數(shù)據(jù)和CRM和計費系統(tǒng)中的交易數(shù)據(jù)進行綜合分析，T-mobile在一個季度內(nèi)將客戶流失率降低了50%。,國內(nèi)公司

7、：阿里巴巴要做中國數(shù)據(jù)分析第一平臺,阿里巴巴的企業(yè)愿景是要做分享數(shù)據(jù)的第一平臺。,大數(shù)據(jù)時代“將阿里集團變成一家真正意義上的數(shù)據(jù)公司”知道“你是誰，你想要什么”阿里巴巴集團所積淀的商業(yè)數(shù)據(jù)，支付寶、淘寶、阿里金融、B2B的數(shù)據(jù)都會成為這個巨大的數(shù)據(jù)分享平臺的一部分，將會獲得深度發(fā)掘和應用。,國內(nèi)運營商：中移動依托大云，試點經(jīng)分,中國移動：歷時多年打造大云平臺,集團組織技術(shù)驗證：基于大云平臺，以經(jīng)分為切入點，利用現(xiàn)有數(shù)據(jù)，探索大數(shù)據(jù)技

8、術(shù)，已在河北等三省試點應用探索：嘗試利用大數(shù)據(jù)技術(shù)識別異常話單產(chǎn)品線：  分析型PaaS產(chǎn)品，大數(shù)據(jù)處理的一個主要產(chǎn)品，包括Hadoop基礎平臺?；贖adoop的大數(shù)據(jù)倉庫。并行數(shù)據(jù)挖掘工具。搜索引擎系統(tǒng)，基于中國移動“大云”平臺，推出面向公眾的搜索業(yè)務”盤古搜索”。,國內(nèi)運營商：聯(lián)通試點流量清單查詢,中國聯(lián)通：以“流量清單查詢”探索大數(shù)據(jù)技術(shù),平臺：英特爾至強平臺及“Hadoop開發(fā)版”大數(shù)據(jù)解決方案。功能：

9、客戶服務人員提供客戶上網(wǎng)記錄的快速查詢服務，或為客戶本人提供高效的異常大流量上網(wǎng)記錄自助查詢服務。上線：完成北京、黑龍江、浙江、重慶試點，預計將會在今年10月份正式發(fā)布。,建設模式：聯(lián)通的大數(shù)據(jù)平臺是建立在數(shù)據(jù)大集中的基礎之上，“我們現(xiàn)在在集團公司進行統(tǒng)一部署，各個省分僅僅是做數(shù)據(jù)的采集，按照業(yè)務實時性將數(shù)據(jù)傳送到集團公司，由集團公司統(tǒng)一處理。 ”,目錄,大數(shù)據(jù)發(fā)展趨勢概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,大數(shù)據(jù)涉及的關(guān)鍵技術(shù)

10、,,需求,技術(shù)描述,關(guān)鍵技術(shù),,海量數(shù)據(jù)分布式處理,Hadoop 生態(tài)系統(tǒng),針對大量數(shù)據(jù)進行分布式處理的系統(tǒng)框架,實時數(shù)據(jù)處理,Streaming Data,流計算引擎,,非結(jié)構(gòu)化數(shù)據(jù)處理,文本處理技術(shù)；自然語言理解； 多媒體處理技術(shù)…,文本內(nèi)容分詞與分析；圖像、音視頻分析,,可視化交互界面,通過交互式可視化界面輔助用戶進行分析,交互式可視化探索分析技術(shù),,,智能數(shù)據(jù)分析,大規(guī)模機器學習技術(shù),計算機模擬人類學習行為，包括特征提取、圖形生

11、成等,,保護隱私數(shù)據(jù)與信息個體的對應關(guān)系等安全技術(shù),高效存儲和管理大規(guī)模數(shù)據(jù),數(shù)據(jù)存儲備份技術(shù)、數(shù)據(jù)放置和調(diào)度技術(shù)、數(shù)據(jù)溯源,存儲、放置、調(diào)度大規(guī)模的數(shù)據(jù),數(shù)據(jù)隱私保護,數(shù)據(jù)隱私防范保護措施與數(shù)據(jù)安全技術(shù),,大數(shù)據(jù)采集處理,,大數(shù)據(jù)分析,,存儲、組織、管理,大數(shù)據(jù)技術(shù)處于快速成熟階段,Gartner 新興技術(shù) Hyper 曲線 (2012年),達到成熟期尚需時間,Gartner 新興技術(shù) Hyper 曲線 (2011年),,,僅一年時間

12、，大數(shù)據(jù)技術(shù)就取得快速成長。仍處于上升通道，處于期望膨脹期（Peak of Inflated Expectation）需2-5年才能達到成熟期，成為主要應用技術(shù)。,,,各IT廠家紛紛快速跟進大數(shù)據(jù)技術(shù),“大數(shù)據(jù)”對信息處理設施和技術(shù)提出了更高的要求 全球主流IT廠家紛紛加大在大數(shù)據(jù)領(lǐng)域的投入，行業(yè)價值快速增長,目錄,大數(shù)據(jù)發(fā)展趨勢概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,,傳統(tǒng)數(shù)據(jù)主要來自于業(yè)務運營支撐系統(tǒng)、企業(yè)管理系統(tǒng)等，比

13、如財務收入、業(yè)務發(fā)展量等結(jié)構(gòu)化數(shù)據(jù)；當前爆炸式增長的新數(shù)據(jù)主要來源于互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等，比如圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化新數(shù)據(jù)和結(jié)構(gòu)化傳統(tǒng)數(shù)據(jù)一起構(gòu)成大數(shù)據(jù)。,,大數(shù)據(jù),傳統(tǒng)數(shù)據(jù),客戶資料,訂單數(shù)據(jù),產(chǎn)品數(shù)據(jù),物資數(shù)據(jù),財務數(shù)據(jù),信令數(shù)據(jù),網(wǎng)管數(shù)據(jù),實時監(jiān)控視頻,傳感器數(shù)據(jù),即時通信數(shù)據(jù),視頻文件,客戶賬單,……,價值密度由高到低,,,網(wǎng)上交易數(shù)據(jù),微博數(shù)據(jù),上網(wǎng)行為數(shù)據(jù),位置數(shù)據(jù),圖片,音頻,網(wǎng)頁,日志,結(jié)構(gòu)化

14、數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)定義：結(jié)構(gòu)化數(shù)據(jù)是能夠用數(shù)據(jù)庫二維表來邏輯表達的數(shù)據(jù)；其他為非結(jié)構(gòu)化數(shù)據(jù)。,大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)的延伸，是對傳統(tǒng)數(shù)據(jù)在深度和廣度上的補充,,,,,,,大數(shù)據(jù)為電信帶來新的機遇,,對數(shù)據(jù)的有效利用日益成為中國電信進一步發(fā)展的關(guān)鍵發(fā)現(xiàn)需求/業(yè)務創(chuàng)新：對市場保持足夠的敏銳度，及時捕捉市場空白，并迅速作出響應吸引和留住用戶：快速滿足用戶個性化需求，成功吸引用戶注意力和增加用戶黏性,大數(shù)據(jù)將成為中國電信發(fā)展的核心驅(qū)動引擎,電信擁

15、有豐富的數(shù)據(jù)來源客戶資料產(chǎn)品信息行為數(shù)據(jù)位置數(shù)據(jù)數(shù)據(jù)網(wǎng)絡數(shù)據(jù)…完善360度客戶視圖幫助我們回答我是誰？我是一個怎樣的人？幫助我們進一步的了解事物之間的內(nèi)在聯(lián)系幫助我們了解周圍有多少人和自己有相同特征，他們有什么有趣的新發(fā)現(xiàn),大數(shù)據(jù)對電信的主要核心價值——客戶深度洞察,信息獲取的及時性和價值成正比，而及時性主要由數(shù)據(jù)處理速度和結(jié)果獲取速度決定。大數(shù)據(jù)新的處理及應用技術(shù)有效提升信息獲取及時性流處理和分布式計算技術(shù)有效

16、提升數(shù)據(jù)處理的速度移動BI等能夠?qū)⒏黝悎D表直觀快速的傳遞給用戶，提高決策的有效性可視化技術(shù)提供了一種對已有預測進行檢驗，對未知信息進行探索，實現(xiàn)快速、可檢驗和易理解的評估的手段,大數(shù)據(jù)對電信的主要核心價值——及時有效決策支持,,,,,大數(shù)據(jù)應用,獲取并處理DPI數(shù)據(jù)，分析用戶行為特征等根據(jù)用戶行為偏好，推送相關(guān)業(yè)務按照流量價值分級經(jīng)營,優(yōu)化產(chǎn)品、套餐等，提供個性化定制能力根據(jù)用戶等級提供差異化服務,實時采集處理信令據(jù)，監(jiān)控網(wǎng)絡

17、狀況實現(xiàn)網(wǎng)絡、應用和用戶的智能指配指導網(wǎng)絡規(guī)劃,將數(shù)據(jù)封裝成服務，提供給企業(yè)所有用戶提供數(shù)據(jù)分析開放能力,電信大數(shù)據(jù)應用的主要場景,,,,大數(shù)據(jù)在管理、技術(shù)和應用上帶來的挑戰(zhàn),,,,,,,,,,,,,,大數(shù)據(jù)挑戰(zhàn),大數(shù)據(jù)如何有效組織和管理？大數(shù)據(jù)時代如何保護數(shù)據(jù)安全？保護用戶隱私？大數(shù)據(jù)如何保障其數(shù)據(jù)質(zhì)量？,如何從海量數(shù)據(jù)中發(fā)掘數(shù)據(jù)價值？現(xiàn)有數(shù)據(jù)應用模式已經(jīng)難以適應大數(shù)據(jù)持續(xù)優(yōu)化的需求,大數(shù)據(jù)技術(shù)架構(gòu)挑戰(zhàn),大數(shù)據(jù)應用挑戰(zhàn),

18、大數(shù)據(jù)管理挑戰(zhàn),,大數(shù)據(jù)對存儲、網(wǎng)絡等提出了更高要求；多源異構(gòu)大規(guī)模數(shù)據(jù)的采集、整合面臨挑戰(zhàn)；,中國電信大數(shù)據(jù)應對策略與建議,加強技術(shù)儲備，有序開展大數(shù)據(jù)關(guān)鍵技術(shù)研究與驗證非結(jié)構(gòu)化數(shù)據(jù)處理、交互式可視化分析、流計算…找準切入點，盡快推動大數(shù)據(jù)技術(shù)應用試驗，為大規(guī)模應用、推廣奠定基礎智能管道：流量經(jīng)營、定向廣告服務、實時位置營銷...綜合平臺：數(shù)據(jù)服務、數(shù)據(jù)能力開放…加強人才培養(yǎng)，持續(xù)優(yōu)化組織架構(gòu)，適應大數(shù)據(jù)運營要求著力培養(yǎng)

19、“業(yè)務+數(shù)據(jù)+技術(shù)”專業(yè)化人才隊伍建立大數(shù)據(jù)集約化聯(lián)合運營團隊，構(gòu)建“管理+生產(chǎn)+研發(fā)”一體化運作體系,集團統(tǒng)籌大數(shù)據(jù)技術(shù)及應用研究，加大技術(shù)儲備和人才隊伍建設，迎接大數(shù)據(jù)時代的到來。,應對措施,總體思路,擁有龐大、高質(zhì)量數(shù)據(jù)，能夠從移動互聯(lián)網(wǎng)、互聯(lián)網(wǎng)等接入端獲取到大量用戶行為數(shù)據(jù)；電信的IDC、光網(wǎng)城市，為大數(shù)據(jù)應用的存儲、計算和傳輸提供了良好基礎；以數(shù)據(jù)為驅(qū)動的營銷支撐體系基本形成，為大數(shù)據(jù)價值轉(zhuǎn)換和顯現(xiàn)提供良好基礎；,現(xiàn)有