5.《云計(jì)算(第三版)》配套ppt之五-google云計(jì)算原理與應(yīng)用(四)

1、,,,電子工業(yè)出版社《云計(jì)算(第三版)》配套課件,,,,主編：劉鵬 教授,第 2 章,Google云計(jì)算原理與應(yīng)用（四）,,本套PPT下載地址：http://www.chinacloud.cn/list.aspx?cid=20,云計(jì)算的紅寶書,書籍購買地址：http://weidian.com/item.html?itemID=1469775685&p=-1,微信掃描二維碼,關(guān)注云計(jì)算頭條,,電子工業(yè)出版社《云計(jì)算(第三版)》

2、配套課件,,（包郵且有劉鵬教授親筆簽名）,,教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士。現(xiàn)任中國云計(jì)算專家咨詢委員會(huì)秘書長、中國信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長、工業(yè)與信息化部云計(jì)算研究中心專家。 主持完成科研項(xiàng)目25項(xiàng)，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級(jí)科技進(jìn)步二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)4項(xiàng)。主編了國內(nèi)第一本云計(jì)算教材《云計(jì)算》和第一本云計(jì)算編程書籍《實(shí)戰(zhàn)Hadoop》。創(chuàng)辦了知名的中國云計(jì)算（chinacloud.cn）和中國大數(shù)

3、據(jù)（thebigdata.cn）網(wǎng)站。 曾率隊(duì)奪得2002 PennySort國際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國高?？萍急荣愖罡擢?jiǎng)，并三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。 榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號(hào)。,劉 鵬,,,,,,目錄,,2.1 Google文件系統(tǒng)GFS,,2.2 分布式數(shù)據(jù)處理Ma

4、pReduce,,2.3 分布式鎖服務(wù)Chubby,,2.4 分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable,,2.5 分布式存儲(chǔ)系統(tǒng)Megastore,,2.6 大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper,,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,,2.9 Google應(yīng)用程序引擎,,數(shù)據(jù)本身不會(huì)產(chǎn)生價(jià)值只有經(jīng)過分析才有可能產(chǎn)生價(jià)值,,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.7

5、.1 產(chǎn)生背景,2.7.2 數(shù)據(jù)模型,2.7.3 嵌套式的列存儲(chǔ),2.7.4 查詢語言與執(zhí)行,2.7.5 性能分析,2.7.6 小結(jié),7,產(chǎn)生背景,,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,MapReduce,,優(yōu)點(diǎn)：便攜,缺點(diǎn)：效率低,Google的團(tuán)隊(duì)結(jié)合其自身的實(shí)際需求，借鑒搜索引擎和并行數(shù)據(jù)庫的一些技術(shù)，開發(fā)出了實(shí)時(shí)的交互式查詢系統(tǒng)Dremel。,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,Dremel支持的

6、典型應(yīng)用,,8,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.7.1 產(chǎn)生背景,2.7.2 數(shù)據(jù)模型,2.7.3 嵌套式的列存儲(chǔ),2.7.4 查詢語言與執(zhí)行,2.7.5 性能分析,2.7.6 小結(jié),,,10,兩方面的技術(shù)支撐,,,兩方面的技術(shù)支撐,,一方面：統(tǒng)一的存儲(chǔ)平臺(tái),,另一方面：統(tǒng)一的數(shù)據(jù)存儲(chǔ)格式,實(shí)現(xiàn)高效的數(shù)據(jù)存儲(chǔ)，Dremel使用的底層數(shù)據(jù)存儲(chǔ)平臺(tái)是GFS,存儲(chǔ)的數(shù)據(jù)才可以被不同的平臺(tái)所使用,2.7 海量數(shù)

7、據(jù)的交互式分析工具Dremel,,11,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,面向記錄和面向列的存儲(chǔ),,Google的Dremel是第一個(gè)在嵌套數(shù)據(jù)模型基礎(chǔ)上實(shí)現(xiàn)列存儲(chǔ)的系統(tǒng)。,,,列存儲(chǔ)更利于數(shù)據(jù)的壓縮,處理時(shí)只需要使用涉及的列數(shù)據(jù),,,好處一：,好處二：,,,,12,,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,嵌套模型的形式化定義,,原子類型（Atomic Type）,原子類型允許的取值類型包括整型、浮點(diǎn)型、字符串等,記

8、錄類型（Record Type）,記錄類型則可以包含多個(gè)域,記錄型數(shù)據(jù)包括三種類型：必須的（Required）、可重復(fù)的（Repeated）以及可選的（Optional）,13,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,嵌套結(jié)構(gòu)的模式和實(shí)例,,文檔的模式（Schema）定義,符合該模式的兩條記錄,利用該數(shù)據(jù)模型，可以使用Java語言，也可以使用C++語言來處理數(shù)據(jù)，甚至可以用Java編寫的MapReduce程序直接處理C++語言產(chǎn)生

9、的數(shù)據(jù)集。這種跨平臺(tái)的優(yōu)良特性正是Google所需要的。,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.7.1 產(chǎn)生背景,2.7.2 數(shù)據(jù)模型,2.7.3 嵌套式的列存儲(chǔ),2.7.4 查詢語言與執(zhí)行,2.7.5 性能分析,2.7.6 小結(jié),15,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,數(shù)據(jù)結(jié)構(gòu)的無損表示,,帶有重復(fù)深度和定義深度的r1與r2的列存儲(chǔ),重復(fù)深度主要關(guān)注的是可重復(fù)類型，而定義深度同時(shí)關(guān)注可重復(fù)類型和可

10、選類型（optional）,每一列最終會(huì)被存儲(chǔ)為塊（Block）的集合，每個(gè)塊包含重復(fù)深度和定義深度且包含字段值。,,,,,16,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,高效的數(shù)據(jù)編碼,,計(jì)算重復(fù)和定義深度的基礎(chǔ)算法,Dremel利用圖中算法創(chuàng)建一個(gè)樹狀結(jié)構(gòu),樹的節(jié)點(diǎn)為字段的writer，它的結(jié)構(gòu)與模式中的字段層級(jí)匹配。,,核心的想法是只在字段writer有自己的數(shù)據(jù)時(shí)執(zhí)行更新，非絕對(duì)必要時(shí)不嘗試往下傳遞父節(jié)點(diǎn)狀態(tài)。,,子節(jié)點(diǎn)wr

11、iter繼承父節(jié)點(diǎn)的深度值。,,當(dāng)任意值被添加時(shí)，子writer將深度值同步到父節(jié)點(diǎn)。,,17,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,數(shù)據(jù)重組,,Dremel數(shù)據(jù)重組方法的核心思想是為每個(gè)字段創(chuàng)建一個(gè)有限狀態(tài)機(jī)（FSM），讀取字段值和重復(fù)深度，然后順序地將值添加到輸出結(jié)果上。,18,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,數(shù)據(jù)重組,,r1的完整數(shù)據(jù)重組過程,19,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,數(shù)據(jù)重組,,如

12、果具體的查詢中不是涉及所有列，而是僅涉及很少的列的話，上述數(shù)據(jù)重組的過程會(huì)更加便利，下圖中僅僅涉及DocId和Name.Language.Country的有限狀態(tài)機(jī)。,,20,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,數(shù)據(jù)重組,,核心的思想如下：設(shè)置t為當(dāng)前字段讀取器的當(dāng)前值f所返回的下一個(gè)重復(fù)深度。在模式樹中，找到它在深度 t 的祖先，然后選擇該祖先節(jié)點(diǎn)的第一個(gè)葉子字段 n。由此得到一個(gè)FSM狀態(tài)變化(f,t)->n。

13、,有限狀態(tài)機(jī)的構(gòu)造算法,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.7.1 產(chǎn)生背景,2.7.2 數(shù)據(jù)模型,2.7.3 嵌套式的列存儲(chǔ),2.7.4 查詢語言與執(zhí)行,2.7.5 性能分析,2.7.6 小結(jié),22,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,查詢語言與執(zhí)行,,Dremel的SQL查詢輸入的是一個(gè)或多個(gè)嵌套結(jié)構(gòu)的表以及相應(yīng)的模式，而輸出的結(jié)果是一個(gè)嵌套結(jié)構(gòu)的表以及相應(yīng)的模式。,嵌套子查詢,記錄內(nèi)聚合,to

14、p-k,joins,自定義函數(shù),… …,,,,23,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,Dremel利用多層級(jí)服務(wù)樹（multi-level service tree）的概念來執(zhí)行查詢操作,根服務(wù)器接受客戶端發(fā)出的請(qǐng)求，讀取相應(yīng)的元數(shù)據(jù)，將請(qǐng)求轉(zhuǎn)發(fā)至中間服務(wù)器。,中間服務(wù)器負(fù)責(zé)查詢中間結(jié)果的聚集,葉子服務(wù)器負(fù)責(zé)執(zhí)行數(shù)據(jù)來源,查詢語言與執(zhí)行,,24,查詢語言與執(zhí)行,,Dremel中的數(shù)據(jù)都是分布式存儲(chǔ)的，因此每一層查詢涉及

15、的數(shù)據(jù)實(shí)際都被水平劃分后存儲(chǔ)在多個(gè)服務(wù)器上。,Dremel是一個(gè)多用戶系統(tǒng)，因此同一時(shí)刻往往會(huì)有多個(gè)用戶進(jìn)行查詢。,查詢分發(fā)器有一個(gè)很重要參數(shù)，它表示在返回結(jié)果之前一定要掃描百分之多少的tablet,,,,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.7.1 產(chǎn)生背景,2.7.2 數(shù)據(jù)模型,2.7.3 嵌套式的列存儲(chǔ),2.7.4 查詢語言與執(zhí)行,2.7.5 性能分析,2.7

16、.6 小結(jié),26,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,由于Dremel并不開源，我們只能通過Google論文中的分析大致了解其性能。Google的實(shí)驗(yàn)數(shù)據(jù)集規(guī)模如下圖：,性能分析,,27,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,性能分析,,MR從面向記錄轉(zhuǎn)換到列狀存儲(chǔ)后性能提升了一個(gè)數(shù)量級(jí)（從小時(shí)到分鐘），而使用Dremel則又提升了一個(gè)數(shù)量級(jí)（從分鐘到秒）,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.7.1

17、 產(chǎn)生背景,2.7.2 數(shù)據(jù)模型,2.7.3 嵌套式的列存儲(chǔ),2.7.4 查詢語言與執(zhí)行,2.7.5 性能分析,2.7.6 小結(jié),29,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,小結(jié),,Dremel和MapReduce并不是互相替代，而是相互補(bǔ)充的技術(shù)。在不同的應(yīng)用場景下各有其用武之地。,Drill的設(shè)計(jì)目標(biāo)就是復(fù)制一個(gè)開源的Dremel，但是從目前來看，該項(xiàng)目無論是進(jìn)展還是影響力都達(dá)不到Hadoop的高度。,希望未來能出

18、現(xiàn)一個(gè)真正有影響力的開源系統(tǒng)實(shí)現(xiàn)Dremel的主要功能并被廣泛采用。,1,2,3,,,,目錄,,2.1 Google文件系統(tǒng)GFS,,2.2 分布式數(shù)據(jù)處理MapReduce,,2.3 分布式鎖服務(wù)Chubby,,2.4 分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable,,2.5 分布式存儲(chǔ)系統(tǒng)Megastore,,2.6 大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper,,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)Pow

19、erDrill,,2.9 Google應(yīng)用程序引擎,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,,2.8.1 產(chǎn)生背景與設(shè)計(jì)目標(biāo),2.8.2 基本數(shù)據(jù)結(jié)構(gòu),2.8.3 性能優(yōu)化,2.8.4 性能分析與對(duì)比,,,,,,,32,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,產(chǎn)生背景與設(shè)計(jì)目標(biāo),,兩個(gè)假設(shè)結(jié)論,（1）絕大多數(shù)的查詢是類似和一致的；（2）存儲(chǔ)系統(tǒng)中的表只有一小部分是經(jīng)常被使用的，絕大部分的表使用頻率不高。,考慮兩

20、方面的內(nèi)容,（1）如何盡可能在查詢中略去不需要的數(shù)據(jù)分塊；（2）如何盡可能地減少數(shù)據(jù)在內(nèi)存中的占用，占用越少意味著越多的數(shù)據(jù)可以被 加載進(jìn)內(nèi)存中處理。,PowerDrill整個(gè)系統(tǒng)實(shí)際分為三個(gè)部分,Web UI,一個(gè)抽象層,列式存儲(chǔ),2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,,2.8.1 產(chǎn)生背景與設(shè)計(jì)目標(biāo),2.8.2 基本數(shù)據(jù)結(jié)構(gòu),2.8.3 性能優(yōu)化,2.8.4 性能分析與對(duì)比,,,34,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)

21、PowerDrill,下圖闡述了PowerDrill采用的數(shù)據(jù)結(jié)構(gòu)，簡單來說就是一個(gè)雙層數(shù)據(jù)字典結(jié)構(gòu)。,塊字典 記錄的是塊id（chunk-id）和全局id的映射關(guān)系,塊元素 記錄的是塊中存儲(chǔ)數(shù)據(jù)的塊id（注意不是全局id）,基本數(shù)據(jù)結(jié)構(gòu),,,全局字典表,存儲(chǔ)全局id和搜索關(guān)鍵字的對(duì)應(yīng)關(guān)系,3個(gè)塊的數(shù)據(jù),,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,,2.8.1 產(chǎn)生背景與設(shè)計(jì)目標(biāo),2.8.2 基本數(shù)據(jù)結(jié)構(gòu),2.8.3 性能優(yōu)

22、化,2.8.4 性能分析與對(duì)比,36,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,數(shù)據(jù)分塊,,傳統(tǒng)的索引對(duì)于PowerDrill的查詢場景作用不是很大，因此一個(gè)很自然的考慮就是對(duì)數(shù)據(jù)進(jìn)行分塊，過濾查詢中不需要的數(shù)據(jù)塊來減少數(shù)據(jù)量,,背景,常見的分區(qū)方法有范圍分區(qū)、散列分區(qū)等。PowerDrill實(shí)際采用的是一種組合范圍分區(qū)方法。,,方法,領(lǐng)域?qū)＜掖_定若干個(gè)劃分的域,,步驟,利用這幾個(gè)域?qū)?shù)據(jù)進(jìn)行劃分,每個(gè)塊的行數(shù)達(dá)到閾值時(shí)就停止劃

23、分,,,,局限,PowerDrill采用的數(shù)據(jù)分塊方法簡單實(shí)用，但是由于域的確定需要領(lǐng)域?qū)＜?，因此這種方法在實(shí)際使用中還有一定的局限性,37,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,數(shù)據(jù)編碼的優(yōu)化,,統(tǒng)計(jì)一組數(shù)中不同值的個(gè)數(shù)有一個(gè)專有名詞，稱為“基數(shù)估計(jì)”,對(duì)于小規(guī)模的數(shù)據(jù)集，可以比較容易地統(tǒng)計(jì)出精確的基數(shù)。但是在大數(shù)據(jù)的環(huán)境下，精確的基數(shù)統(tǒng)計(jì)非常耗時(shí)，因此能保證一定精度的基數(shù)估計(jì)就可以滿足實(shí)際的需求。,基數(shù)估計(jì)的方法很多，大多

24、利用了散列函數(shù)的一些特性，Google內(nèi)部使用的是一種稱為Hyperloglog的基數(shù)估計(jì)方法的變種。,對(duì)于不同的塊，如果我們可以確定塊中不同值的數(shù)量，那么就可以根據(jù)這個(gè)數(shù)量值來選擇可變的比特位來記錄塊id,,,,,38,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,全局字典優(yōu)化,,優(yōu)化中主要利用兩個(gè)特性,全局字典是有序的,排序后的數(shù)據(jù)常常有共同的前綴,對(duì)每個(gè)全局字典塊還會(huì)維護(hù)一個(gè)布隆過濾器（bloom filter）來快速確定某個(gè)

25、值是否在字典中。,實(shí)際使用中為了進(jìn)一步減少查詢中需要加載到內(nèi)存的全局字典，對(duì)全局字典又進(jìn)行了分塊,,,39,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,壓縮算法,,Google曾經(jīng)對(duì)一些主流的壓縮算法做過簡單的測試，如下圖：,不管壓縮算法的解壓速度多快，總會(huì)消耗一定的物理資源與時(shí)間。對(duì)此PowerDrill采用了一種冷熱數(shù)據(jù)分別對(duì)待的策略。,在冷熱數(shù)據(jù)切換策略中，比較常用的是LRU算法。PowerDrill開發(fā)團(tuán)隊(duì)采用了啟發(fā)式的緩存

26、策略來代替原始的LRU算法。,,,40,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,行的重排,,數(shù)據(jù)壓縮的算法有很多，比較常用的一種稱為游程編碼（Run-Length Encoding，RLE），又稱行程長度編碼，其好處是壓縮和解壓縮都非?？臁?數(shù)據(jù)重排的過程等效于著名的TSP（旅行商）問題,PowerDrill在實(shí)際生產(chǎn)環(huán)境中對(duì)數(shù)據(jù)分塊時(shí)選定的那幾個(gè)域按照字典序進(jìn)行排序來得到重排的結(jié)果,兩個(gè)等長字符串之間的漢明距離是兩個(gè)字符串對(duì)應(yīng)

27、位置的不同字符的個(gè)數(shù),2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,,2.8.1 產(chǎn)生背景與設(shè)計(jì)目標(biāo),2.8.2 基本數(shù)據(jù)結(jié)構(gòu),2.8.3 性能優(yōu)化,2.8.4 性能分析與對(duì)比,42,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,我們比較關(guān)注的兩組數(shù)據(jù),,在查詢過程中，平均92.41%的數(shù)據(jù)被略去5.02%的數(shù)據(jù)會(huì)直接被緩存命中一般僅須掃描2.66%的數(shù)據(jù)即可得到查詢結(jié)果,超過70%的查詢是不需要從磁盤訪問任何數(shù)據(jù)的這

28、些查詢的平均訪問延遲大約是25秒96.5%的查詢需要訪問的磁盤量不超過1GB,43,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,性能分析與對(duì)比,,訪問數(shù)據(jù)量（GB）,延遲時(shí)間（s）,44,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,PowerDrill與Dremel的對(duì)比,,目錄,,2.1 Google文件系統(tǒng)GFS,,2.2 分布式數(shù)據(jù)處理MapReduce,,2.3 分布式鎖服務(wù)Chubby,,2.4 分布式結(jié)構(gòu)化數(shù)

29、據(jù)表Bigtable,,2.5 分布式存儲(chǔ)系統(tǒng)Megastore,,2.6 大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper,,2.7 海量數(shù)據(jù)的交互式分析工具Dremel,,2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill,,2.9 Google應(yīng)用程序引擎,2.9 Google應(yīng)用程序引擎,,2.9.1 Google App Engine簡介,2.9.2 應(yīng)用程序環(huán)境,2.9.3 Google App Engine服務(wù),什么是Goo

30、gle App Engine,,,Google App Engine是一個(gè)由Python應(yīng)用服務(wù)器群、Bigtable數(shù)據(jù)庫及GFS數(shù)據(jù)存儲(chǔ)服務(wù)組成的平臺(tái)，它能為開發(fā)者提供一體化的可自動(dòng)升級(jí)的在線應(yīng)用服務(wù)。,Google App Engine可以讓開發(fā)人員在Google的基礎(chǔ)架構(gòu)上運(yùn)行網(wǎng)絡(luò)應(yīng)用程序。,在Google App Engine中，用戶可以使用appspot.com域上的免費(fèi)域名為應(yīng)用程序提供服務(wù)，也可以使用Google企業(yè)應(yīng)用

31、套件從自己的域?yàn)樗峁┓?wù)。,可以免費(fèi)使用Google App Engine。注冊(cè)一個(gè)免費(fèi)賬戶即可開發(fā)和發(fā)布應(yīng)用程序，而且不需要承擔(dān)任何費(fèi)用和責(zé)任。,Google App Engine,49,2.9 Google應(yīng)用程序引擎,Google App Engine的整體架構(gòu),,前端和靜態(tài)文件 負(fù)責(zé)將請(qǐng)求轉(zhuǎn)發(fā)給應(yīng)用服務(wù)器并進(jìn)行負(fù)載均衡和靜態(tài)文件的傳輸,應(yīng)用服務(wù)器 能同時(shí)運(yùn)行多個(gè)應(yīng)用的運(yùn)行時(shí)（Runtime）,服務(wù)器群 提供了一些服務(wù)，主要有M

32、emcache、Images、URLfetch、E-mail和Data Store等,應(yīng)用管理節(jié)點(diǎn) 主要負(fù)責(zé)應(yīng)用的啟停和計(jì)費(fèi)。,2.9 Google應(yīng)用程序引擎,,2.9.1 Google App Engine簡介,2.9.2 應(yīng)用程序環(huán)境,2.9.3 Google App Engine服務(wù),,,,51,2.9 Google應(yīng)用程序引擎,動(dòng)態(tài)網(wǎng)絡(luò)服務(wù)功能。能夠完全支持常用的網(wǎng)絡(luò)技術(shù)。具有持久存儲(chǔ)的空間。在這個(gè)空間里平臺(tái)可以支持一

33、些基本操作，如查詢、分類和事務(wù)的操作。具有自主平衡網(wǎng)絡(luò)和系統(tǒng)的負(fù)載、自動(dòng)進(jìn)行擴(kuò)展的功能?？梢詫?duì)用戶的身份進(jìn)行驗(yàn)證，并且支持使用Google賬戶發(fā)送郵件。有一個(gè)功能完整的本地開發(fā)環(huán)境，可以在自身的計(jì)算機(jī)上模擬Google App Engine環(huán)境。支持在指定時(shí)間或定期觸發(fā)事件的計(jì)劃任務(wù)。,應(yīng)用程序環(huán)境的特性,,1,2,3,4,5,6,52,2.9 Google應(yīng)用程序引擎,沙盒的限制,,2.9 Google應(yīng)用程

34、序引擎,,2.9.1 Google App Engine簡介,2.9.2 應(yīng)用程序環(huán)境,2.9.3 Google App Engine服務(wù),54,2.9 Google應(yīng)用程序引擎,Google App Engine服務(wù),,,圖像操作API,,郵件API,,Memcache API,,用戶API,,數(shù)據(jù)庫API,,,,,,,1．Google云計(jì)算技術(shù)包括哪些內(nèi)容？2．當(dāng)前主流分布式文件系統(tǒng)有哪些？各有什么優(yōu)缺點(diǎn)？3．GFS采用了

35、哪些容錯(cuò)措施來確保整個(gè)系統(tǒng)的可靠性？4．MapReduce與傳統(tǒng)的分布式程序設(shè)計(jì)相比有何優(yōu)點(diǎn)？5．Chubby的設(shè)計(jì)目標(biāo)是什么？Paxos算法在Chubby中起 什么作用？6．闡述Bigtable的數(shù)據(jù)模型和系統(tǒng)架構(gòu)。7．分布式存儲(chǔ)系統(tǒng)Megastore的核心技術(shù)是什么？,習(xí)題：,,8．大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper關(guān)鍵技術(shù)是什么？9．相比于行存儲(chǔ)，列存儲(chǔ)有哪些優(yōu)點(diǎn)？10．為什么MapReduce不適合實(shí)時(shí)數(shù)據(jù)處

36、理？11．簡單闡述Dremel如何實(shí)現(xiàn)數(shù)據(jù)的無損表示。12．PowerDrill能實(shí)現(xiàn)高效的數(shù)據(jù)處理，在存儲(chǔ)部分主要依賴哪兩方面的技術(shù)？13．Google App Engine提供了哪些服務(wù)？14．Google App Engine的沙盒對(duì)開發(fā)人員有哪些限制？,習(xí)題：,百度排名首位的大數(shù)據(jù)資料和交流中心,百度排名首位的云計(jì)算資料和交流中心,終生免費(fèi)的智能硬件大數(shù)據(jù)托管平臺(tái),,掃一掃，進(jìn)入萬物云,終生免費(fèi)的環(huán)境大數(shù)據(jù)共享平臺(tái),,掃

37、一掃，進(jìn)入環(huán)境云,,,云創(chuàng)大數(shù)據(jù) 給您一步到位的解決方案！,高校Hadoop教學(xué)科研,一攬子解決方案,云計(jì)算、大數(shù)據(jù)時(shí)代，社會(huì)亟需相關(guān)人才！而高校缺平臺(tái)、缺人才、缺經(jīng)驗(yàn)！怎么辦？,建設(shè)一個(gè)Hadoop實(shí)驗(yàn)平臺(tái) 一套開源的Hadoop一體機(jī)和開發(fā)環(huán)境，詳細(xì)的指導(dǎo)書籍和實(shí)驗(yàn)設(shè)計(jì)。 培養(yǎng)一支云計(jì)算師資隊(duì)伍 來自云計(jì)算高手的系列培訓(xùn)， 早在2010年就培訓(xùn)了全國第一批云計(jì)算師資力量。 營造一個(gè)

38、大數(shù)據(jù)科研環(huán)境 為科研提供技術(shù)支持，與大數(shù)據(jù)應(yīng)用相結(jié)合，讓科研邁上新臺(tái)階。,,,,,,,,,劉鵬看未來,云計(jì)算頭條,云創(chuàng)大數(shù)據(jù),中國大數(shù)據(jù),微信號(hào)： chinacloudnj,微信號(hào)： cstorbigdata,資源豐富、分析深入、更新及時(shí)的云計(jì)算知識(shí)共享平臺(tái)。,微信號(hào)：lpoutlook,微信號(hào)： cStor_cn,國內(nèi)大數(shù)據(jù)龍頭企業(yè)。提供領(lǐng)先的云存儲(chǔ)、云數(shù)據(jù)庫、云視頻、云傳輸產(chǎn)品和解決方案。,眼光決定成敗，與劉鵬教授看未來