騰訊搜搜日志分析語言LP的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的使用人數(shù)和網(wǎng)絡應用的不斷增多,全球互聯(lián)網(wǎng)在技術(shù)方面一直在向云計算方向不斷發(fā)展。云計算的興起,究其原因,在于互聯(lián)網(wǎng)數(shù)據(jù)量的高速增長?，F(xiàn)在整個互聯(lián)網(wǎng)每年產(chǎn)生的數(shù)據(jù)量是在8億TB左右,如何能夠快速的處理和分析這些數(shù)據(jù)成為互聯(lián)網(wǎng)企業(yè)生存的關(guān)鍵。
　　搜索引擎作為使用人數(shù)最多的互聯(lián)網(wǎng)應用,其后臺服務代碼產(chǎn)生的日志數(shù)據(jù)是海量的。日志數(shù)據(jù)通常是半結(jié)構(gòu)化的文本行,是一種平面的正則結(jié)構(gòu)。只有將半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù),并存儲在分

2、布式存儲系統(tǒng)(如騰訊的XFS)或者數(shù)據(jù)庫系統(tǒng)(如騰訊的XCUBE)中,才能夠保證數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量,這些數(shù)據(jù)才能夠變?yōu)檎嬲捎煤陀杏玫臄?shù)據(jù),從而更好的支持數(shù)據(jù)挖掘。
　　本文主要研究如何設(shè)計一種編程語言,也就是腳本語言,這種語言能夠?qū)⑷罩綞TL(Extract、TransformandLoad)化中的日志分析工作更加簡單化和高效化,避免繁瑣的轉(zhuǎn)換代碼的編寫,降低代碼的維護成本。同時考慮到海量數(shù)據(jù)的分布式處理,能夠在數(shù)據(jù)量不斷增大

3、的情況下,僅僅通過平行地增加機器,不改動ETL代碼而達到擴容的目的。
　　語言LP(LogParser)是一門DSL(Domain-SpecificLanguage)語言。LP設(shè)計的目標包括以下幾個方面:
　　(1)支持基本的語言特性:包括詞法、語法以及語義的設(shè)計和實現(xiàn);語言插件庫的動態(tài)加載;以及代碼的優(yōu)化。LP語言將專注于日志數(shù)據(jù)的抽取,轉(zhuǎn)換和清洗。
　　(2)提供ETL功能的庫函數(shù)的設(shè)計和實現(xiàn),專注于庫函數(shù)的高效設(shè)