分布式數(shù)據(jù)倉(cāng)庫(kù)查詢模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息化水平的逐漸提高，數(shù)據(jù)的重要性得到了各個(gè)行業(yè)特別是互聯(lián)網(wǎng)公司的重視。對(duì)數(shù)據(jù)的提取、分析、挖掘?yàn)榛ヂ?lián)網(wǎng)企業(yè)決策提供了重要依據(jù)，同時(shí)使企業(yè)對(duì)市場(chǎng)的細(xì)分更為精確，能夠更準(zhǔn)確的為客戶定制服務(wù)，使企業(yè)與客戶的利益最大化?！皬V告投放”已經(jīng)成為互聯(lián)網(wǎng)行業(yè)重要的吸金與服務(wù)方式之一，互聯(lián)網(wǎng)對(duì)廣告數(shù)據(jù)的重視程度也達(dá)到了空前的高度。目前，由于互聯(lián)網(wǎng)用戶激增，大型搜索網(wǎng)站每日產(chǎn)生的廣告數(shù)據(jù)可以達(dá)到100G級(jí)甚至T級(jí)，在如此海量的數(shù)據(jù)面前要對(duì)新舊數(shù)據(jù)的及

2、時(shí)查詢與分析，傳統(tǒng)的數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)無(wú)法滿足。在此背景下，公司決定開發(fā)分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)來(lái)對(duì)當(dāng)前的迫切需求進(jìn)行支持。
　　該分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)使用C++語(yǔ)言開發(fā)，利用分布式系統(tǒng)進(jìn)行海量數(shù)據(jù)的存儲(chǔ)，設(shè)計(jì)數(shù)據(jù)分布式存儲(chǔ)結(jié)構(gòu)，利用自動(dòng)分區(qū)和物化視圖等方法提高查詢效率。根據(jù)不同的功能需求，系統(tǒng)劃分為調(diào)度模塊、元數(shù)據(jù)管理模塊、數(shù)據(jù)導(dǎo)入模塊、查詢模塊和數(shù)據(jù)存儲(chǔ)模塊。調(diào)度模塊實(shí)現(xiàn)對(duì)各個(gè)模塊的調(diào)度及監(jiān)控功能;數(shù)據(jù)導(dǎo)入模塊支持對(duì)大數(shù)據(jù)的批量導(dǎo)入及數(shù)

3、據(jù)恢復(fù)，同時(shí)生成對(duì)應(yīng)的物化視圖以提高查詢效率。元數(shù)據(jù)管理模塊通過(guò)對(duì)Hadoop子項(xiàng)目Zookeeper系統(tǒng)的封裝，完成對(duì)系統(tǒng)數(shù)據(jù)的安全存儲(chǔ)并支持實(shí)時(shí)查詢。查詢模塊為多種查詢方式提供接口、生成查詢計(jì)劃、執(zhí)行查詢過(guò)程、返回查詢結(jié)果。數(shù)據(jù)存儲(chǔ)模塊主要負(fù)責(zé)對(duì)海量數(shù)據(jù)進(jìn)行分布式存儲(chǔ)。本人主要負(fù)責(zé)查詢模塊的設(shè)計(jì)與開發(fā):設(shè)計(jì)查詢模塊的層次架構(gòu)制定查詢副本選擇策略、設(shè)計(jì)與實(shí)現(xiàn)查詢計(jì)劃的生成方式、實(shí)現(xiàn)各種查詢方式的接口、設(shè)計(jì)實(shí)現(xiàn)查詢模塊的異常處理機(jī)制等。