分布式非事務(wù)列式存儲引擎的設(shè)計與實現(xiàn).pdf

1、近年來隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，接入網(wǎng)絡(luò)的方式不斷優(yōu)化，越來越多的用戶數(shù)據(jù)出現(xiàn)在互聯(lián)網(wǎng)上。面對這種井噴式出現(xiàn)的數(shù)據(jù)，當(dāng)前業(yè)界的大部分數(shù)據(jù)分析系統(tǒng)都還是傳統(tǒng)的基于磁盤的模式，雖然很多系統(tǒng)已經(jīng)在分布式方面做了極大的改進，但這種架構(gòu)本質(zhì)上存在著計算速度慢、CPU資源利用率低、導(dǎo)入效率低下等問題。
　　針對這些問題，本文結(jié)合當(dāng)前國內(nèi)外的研究現(xiàn)狀和發(fā)展態(tài)勢，分析現(xiàn)有數(shù)據(jù)倉庫系統(tǒng)的架構(gòu)及特點，再根據(jù)自身項目的具體需求，設(shè)計并實現(xiàn)了內(nèi)存數(shù)據(jù)存儲引

2、擎（Memory Database Engine， MDE），它能為企業(yè)部署一個海量數(shù)據(jù)的高速處理平臺，提供一個實時響應(yīng)、高可靠、高伸縮性的分布式數(shù)據(jù)倉庫系統(tǒng)，可以更好的支撐上層的各種分析方法。使得企業(yè)能從繁雜冗余的數(shù)據(jù)中極快的得到清洗過的數(shù)據(jù)，盡早的應(yīng)對變化多端的市場。本文主要工作與創(chuàng)新點有以下幾點：
　　1.設(shè)計了內(nèi)存數(shù)據(jù)存儲引擎的系統(tǒng)架構(gòu)。它基于列式存儲的模型架構(gòu)，數(shù)據(jù)按列存儲能夠更好的支持數(shù)據(jù)壓縮，并且在查詢時的效率更勝行

3、式；同時，采用雙機熱備、高可用集群等機制保證了高可靠性。
　　2.設(shè)計了能夠高效壓縮和快速增量的數(shù)據(jù)結(jié)構(gòu)來存儲數(shù)據(jù)倉庫的數(shù)據(jù)，在節(jié)約內(nèi)存資源的同時，提高了計算效率。
　　3.網(wǎng)絡(luò)IO選型采用epoll異步事件驅(qū)動模型，配合內(nèi)存操作，效率數(shù)量級的提升。磁盤IO方面，將利用線程池模型處理異步操作，增加系統(tǒng)的并發(fā)處理能力。
　　4.系統(tǒng)提供大部分數(shù)據(jù)庫物理計劃執(zhí)行的接口，給上層提供處理過后的數(shù)據(jù)，減少網(wǎng)絡(luò)傳輸和解析調(diào)度節(jié)點的