分布式非事務(wù)列式存儲(chǔ)引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，接入網(wǎng)絡(luò)的方式不斷優(yōu)化，越來(lái)越多的用戶數(shù)據(jù)出現(xiàn)在互聯(lián)網(wǎng)上。面對(duì)這種井噴式出現(xiàn)的數(shù)據(jù)，當(dāng)前業(yè)界的大部分?jǐn)?shù)據(jù)分析系統(tǒng)都還是傳統(tǒng)的基于磁盤(pán)的模式，雖然很多系統(tǒng)已經(jīng)在分布式方面做了極大的改進(jìn)，但這種架構(gòu)本質(zhì)上存在著計(jì)算速度慢、CPU資源利用率低、導(dǎo)入效率低下等問(wèn)題。
　　針對(duì)這些問(wèn)題，本文結(jié)合當(dāng)前國(guó)內(nèi)外的研究現(xiàn)狀和發(fā)展態(tài)勢(shì)，分析現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的架構(gòu)及特點(diǎn)，再根據(jù)自身項(xiàng)目的具體需求，設(shè)計(jì)并實(shí)現(xiàn)了內(nèi)存數(shù)據(jù)存儲(chǔ)引

2、擎（Memory Database Engine， MDE），它能為企業(yè)部署一個(gè)海量數(shù)據(jù)的高速處理平臺(tái)，提供一個(gè)實(shí)時(shí)響應(yīng)、高可靠、高伸縮性的分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，可以更好的支撐上層的各種分析方法。使得企業(yè)能從繁雜冗余的數(shù)據(jù)中極快的得到清洗過(guò)的數(shù)據(jù)，盡早的應(yīng)對(duì)變化多端的市場(chǎng)。本文主要工作與創(chuàng)新點(diǎn)有以下幾點(diǎn)：
　　1.設(shè)計(jì)了內(nèi)存數(shù)據(jù)存儲(chǔ)引擎的系統(tǒng)架構(gòu)。它基于列式存儲(chǔ)的模型架構(gòu)，數(shù)據(jù)按列存儲(chǔ)能夠更好的支持?jǐn)?shù)據(jù)壓縮，并且在查詢時(shí)的效率更勝行

3、式；同時(shí)，采用雙機(jī)熱備、高可用集群等機(jī)制保證了高可靠性。
　　2.設(shè)計(jì)了能夠高效壓縮和快速增量的數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，在節(jié)約內(nèi)存資源的同時(shí)，提高了計(jì)算效率。
　　3.網(wǎng)絡(luò)IO選型采用epoll異步事件驅(qū)動(dòng)模型，配合內(nèi)存操作，效率數(shù)量級(jí)的提升。磁盤(pán)IO方面，將利用線程池模型處理異步操作，增加系統(tǒng)的并發(fā)處理能力。
　　4.系統(tǒng)提供大部分?jǐn)?shù)據(jù)庫(kù)物理計(jì)劃執(zhí)行的接口，給上層提供處理過(guò)后的數(shù)據(jù)，減少網(wǎng)絡(luò)傳輸和解析調(diào)度節(jié)點(diǎn)的