谷歌大規(guī)模排序?qū)嶒灥臍v史[翻譯]

1、原文鏈接：:cloud.blogbigdata201602histyofmassivescalestingexperimentsatgoogle作者：MarianDvsky，軟件工程師，谷歌云平臺HistyofmassivescalestingexperimentsatGoogle谷歌大規(guī)模排序?qū)嶒灥臍v史ThursdayFebruary182016星期四，2016年2月18日We’vetestedMapReducebystinglarg

2、eamountsofromdataeversincewecreatedthetool.Welikestingbecauseit’seasytogenerateanarbitraryamountofdatait’seasytovalidatethattheoutputiscrect.我們發(fā)明了MapReduce這個工具之后，對它進(jìn)行了大規(guī)模隨機(jī)數(shù)據(jù)的排序測試。我們喜歡排序，因為很容易產(chǎn)生任意規(guī)模的數(shù)據(jù)，也很容易驗證排序的輸出是否正確。Ev

3、entheiginalMapReducepaperreptsaTeraStresult.Engineersrun1TB10TBstsasregressiontestsonaregularbasisbecauseobscurebugstendtobemevisibleonalargescale.Howevertherealfunbeginswhenweincreasethescaleevenfurther.InthispostI’llta

4、lkaboutourexperiencewithsomepetabytescalestingexperimentswedidafewyearsagoincludingwhatwebelievetobethelargestMapReducejobever:a50PBst.我們最初的MapReduce論文就報道了一個TeraSt排序的結(jié)果。工程師在一定的規(guī)則基礎(chǔ)上對1TB或10TB的數(shù)據(jù)進(jìn)行排序測試，因為細(xì)小的錯誤更容易在大規(guī)模數(shù)據(jù)運(yùn)行的時

5、候被發(fā)現(xiàn)。然而，真正有趣的事情在我們進(jìn)一步擴(kuò)大數(shù)據(jù)規(guī)模后才開始。在這篇文章中，我將講一講我們在幾年之前所做的一些PB級別的排序?qū)嶒?，包括我們認(rèn)為是目前最大的MapReduce工作：50PB排序。ThesedaysGrayStisthelargescalestingbenchmarkofchoice.InGrayStyoumuststatleast100TBofdata(as100byterecdswiththefirst10bytesb

6、eingthekey)lexicographicallyasfastaspossible.Thesitestbenchmark.gtracksofficialwinnersfthisbenchmark.Weneverenteredtheofficialcompetition.那時候，GraySt是大型排序基準(zhǔn)的選擇。在GraySt基準(zhǔn)下，你必須按照盡快對至少100TB的數(shù)據(jù)(每100B數(shù)據(jù)用最前面的10B數(shù)據(jù)作為鍵)進(jìn)行字典序排序。St

7、benchmark.g這個網(wǎng)站追蹤報道了這個基準(zhǔn)的官方優(yōu)勝者。而我們usedfthebenchmarkdoesn’thaveanychecksumsembeddedfMapReducetonotice(thetypicaluseofMapReduceatGoogleusesfilefmatswithembeddedchecksums).2007年我們運(yùn)行了第一個Petast。在那個時候，我們最高興的是這個程序最終完成了排序，盡管我們對排

8、序的結(jié)果有一些疑問(我們沒有驗證排序結(jié)果的正確性)。如果不是我們?nèi)∠艘欢ㄒ骋粋€輸出分區(qū)與備份完全相同的驗證機(jī)制，這個排序便不會結(jié)束。我們懷疑這是因為我們用來存儲輸入和輸出的文件是GFS格式(谷歌文件系統(tǒng))的緣故。GFS文件沒有足夠校驗和保護(hù)，有時會返回被污染的數(shù)據(jù)。不幸的是，這個基準(zhǔn)所使用的文件格式?jīng)]有任何嵌入式校驗供MapReduce使用(谷歌使用的典型MapReduce的文件是有嵌入式校驗的)。20082008(1PB6.03h

9、ours2.76TBmin11.5MBswker)1PB6.03小時，2.76TBmin，11.5MBswker2008wasthefirsttimewefocusedontuning.Wespentseveraldaystuningthenumberofshardsvariousbuffersizesprefetchingwriteaheadstrategiespagecacheusageetc.Webloggedaboutthere

10、sulthere.ThebottleneckendedupbeingwritingthethreewayreplicatedoutputGFSwhichwasthestardweusedatGoogleatthetime.Anythinglesswouldcreateahighriskofdataloss.2008年我們第一次把注意力集中于調(diào)整。我們花費(fèi)幾天的時間來調(diào)整分區(qū)的數(shù)量，緩沖區(qū)的大小，預(yù)取預(yù)寫策略，頁面緩存使用等。我們曾經(jīng)在這

11、個博客里記錄過結(jié)果。最終的瓶頸是寫三路復(fù)制的GFS輸出文件，這是當(dāng)時我們在谷歌使用的標(biāo)準(zhǔn)。任何事情的缺失都會造成數(shù)據(jù)丟失的高風(fēng)險。20102010(1PB2.95hours5.65TBmin11.8MBswker)1PB2.95小時5.65TBmin11.8MBswkerFthistestweusedthenewversionoftheGrayStbenchmarkthatusesincompressibledata.Intheprev