面向流式處理的SQL查詢計(jì)劃生成技術(shù)研究.pdf

1、近幾年,互聯(lián)網(wǎng)行業(yè)由于Web2.0時(shí)代的到來(lái),需要存儲(chǔ)和處理的數(shù)據(jù)正在呈爆炸式的增長(zhǎng)。隨著數(shù)據(jù)規(guī)模的增大,傳統(tǒng)的并行數(shù)據(jù)庫(kù)已無(wú)法滿足現(xiàn)在數(shù)據(jù)處理的需要,而Hadoop適合大規(guī)模的數(shù)據(jù)處理。在基于MapReduce的分布式數(shù)據(jù)庫(kù)系統(tǒng)中,針對(duì)SQL查詢計(jì)劃生成方法,現(xiàn)有技術(shù)方案在異構(gòu)環(huán)境下可用性不強(qiáng),不能支持流式處理,缺乏高效的查詢分析處理引擎,不能快速的生成SQL查詢計(jì)劃。
　　面向流式數(shù)據(jù)處理的SQL查詢計(jì)劃生成技術(shù)能有效地解決上

2、述問(wèn)題,該技術(shù)采用一套高效的查詢分析處理引擎,這套高效的查詢分析引擎包括預(yù)處理部件、解析部件、優(yōu)化部件和執(zhí)行部件等,并使用MapReduce-Online流式處理機(jī)制,采用管道技術(shù)提高并行度和處理效率,同時(shí)利用連續(xù)查詢處理技術(shù)將連續(xù)查詢?nèi)蝿?wù)轉(zhuǎn)換成流式查詢?nèi)蝿?wù),使用面向流式處理的查詢解析技術(shù)解析SQL查詢?nèi)蝿?wù),在產(chǎn)生查詢計(jì)劃的過(guò)程中利用基于成本而不使用基于規(guī)則的優(yōu)化技術(shù),允許用戶自定義分區(qū)策略,實(shí)現(xiàn)了快速的生成SQL查詢計(jì)劃,支持連續(xù)查詢