實時數(shù)據(jù)庫中數(shù)據(jù)組織和訂閱發(fā)布技術(shù)的研究.pdf

1、實時數(shù)據(jù)庫是一種數(shù)據(jù)和事務(wù)都有時間限制的數(shù)據(jù)庫管理系統(tǒng)，事務(wù)的正確性不僅依賴于結(jié)果本身，而且依賴于結(jié)果產(chǎn)生的時間。實時數(shù)據(jù)庫能提供高速、實時的數(shù)據(jù)服務(wù)，有效的集成異構(gòu)控制系統(tǒng)的生產(chǎn)數(shù)據(jù)，廣泛應(yīng)用于石油、化工、鋼鐵、電力、醫(yī)藥等行業(yè)，也開始涉足于金融、航天航空、環(huán)保、物聯(lián)網(wǎng)等行業(yè)。近些年來，實時數(shù)據(jù)庫在國內(nèi)外取得了重大發(fā)展，隨著市場需求不斷增加，實時數(shù)據(jù)庫將迎來更為廣闊的發(fā)展空間。
　　本文結(jié)合實時數(shù)據(jù)庫的結(jié)構(gòu)，采用內(nèi)存數(shù)據(jù)庫技術(shù)，

2、分別從內(nèi)存數(shù)據(jù)的組織和歷史數(shù)據(jù)庫的設(shè)計兩個主要方面進(jìn)行了詳細(xì)的研究，最后介紹了訂閱發(fā)布技術(shù)在實時數(shù)據(jù)庫中的應(yīng)用和實現(xiàn)。具體研究內(nèi)容概括如下:
　　1)為了提高實時數(shù)據(jù)庫系統(tǒng)的響應(yīng)速度和吞吐量，實時數(shù)據(jù)庫系統(tǒng)采用數(shù)據(jù)接收緩沖區(qū)結(jié)構(gòu)。本文分析了目前存在的幾種緩沖區(qū)模型結(jié)構(gòu)，采用了Ring結(jié)構(gòu)和多線程處理的思想，將Ring結(jié)構(gòu)的processingbuffer以多個buffer的形式用于實時數(shù)據(jù)庫中，提高了數(shù)據(jù)處理的實時性，減少了互斥所

3、產(chǎn)生的等待時間。
　　2)內(nèi)存數(shù)據(jù)的組織結(jié)構(gòu)是影響系統(tǒng)存取效率的關(guān)鍵因素。本文采用了面向?qū)ο蟮乃枷?，以測點數(shù)據(jù)單元為單位，統(tǒng)一處理測點所有相關(guān)信息，測點數(shù)據(jù)單元采用索引加以組織。文中分析了目前存在的幾類索引結(jié)構(gòu)，結(jié)合內(nèi)存直接存取的特點，采用partial-keycuckoohashing思想將Cuckoohashing加上索引以減少hash運(yùn)算的次數(shù)。最終通過實驗分析得出Index_Cuckoohashing在數(shù)據(jù)插入和查詢等方面

4、都有著很高的性能優(yōu)勢，應(yīng)用到實時數(shù)據(jù)庫中能夠大大提高系統(tǒng)數(shù)據(jù)的存取效率。
　　3)目前歷史數(shù)據(jù)存儲有兩種方式:文件系統(tǒng)和商用關(guān)系型數(shù)據(jù)庫，隨著數(shù)據(jù)的不斷積累這兩種方式對系統(tǒng)性能帶來了一系列問題。本文分析了這兩種方式的缺點，采用Hadoop和HBase技術(shù)，將HBase數(shù)據(jù)庫作為實時數(shù)據(jù)庫歷史數(shù)據(jù)的存儲方式，解決了海量數(shù)據(jù)帶來的存儲和查詢問題。并且設(shè)計了兩種HBase表結(jié)構(gòu)，在集群環(huán)境上加以測試并進(jìn)行了性能分析，結(jié)果顯示HBase相