非關(guān)系型數(shù)據(jù)庫統(tǒng)一存儲與訪問接口研究.pdf

1、大數(shù)據(jù)的出現(xiàn)給信息技術(shù)領(lǐng)域帶來了新的挑戰(zhàn)，因其數(shù)據(jù)量巨大，增長速度快，數(shù)據(jù)類型多樣，關(guān)系型數(shù)據(jù)庫已經(jīng)很難滿足大數(shù)據(jù)存儲的需求。非關(guān)系型數(shù)據(jù)庫因其具有高效的讀寫性能及良好的可擴展性，數(shù)據(jù)存儲模式更為靈活等特點，非常適合大數(shù)據(jù)的存儲。在構(gòu)建大數(shù)據(jù)存儲與分析平臺應(yīng)用系統(tǒng)中，多種非關(guān)系型數(shù)據(jù)庫并存的架構(gòu)能夠充分發(fā)揮各存儲系統(tǒng)的優(yōu)勢，但是不同的非關(guān)系性數(shù)據(jù)庫數(shù)據(jù)模型不同，數(shù)據(jù)訪問方式也不一致，構(gòu)建多源異構(gòu)的大數(shù)據(jù)存儲系統(tǒng)因而變得十分復(fù)雜。另外，非

2、關(guān)系型數(shù)據(jù)庫在使用中存在性能上的問題，在高負載數(shù)據(jù)傳輸?shù)沫h(huán)境下阻塞式的通信模式會引起數(shù)據(jù)庫性能的降低。為了解決以上問題，本文開展的工作如下:
　　首先，對國內(nèi)外多源異構(gòu)的存儲技術(shù)的研究進行了分析比較，對相關(guān)技術(shù)的研究現(xiàn)狀及存在的問題進行了描述。分析了四種主流的非關(guān)系型數(shù)據(jù)庫數(shù)據(jù)模型，根據(jù)現(xiàn)有數(shù)據(jù)集成的思想提出了一種針對非關(guān)系型數(shù)據(jù)庫的統(tǒng)一存儲與訪問模型。模型統(tǒng)一了數(shù)據(jù)的存儲模式，通過緩存系統(tǒng)存儲臨時數(shù)據(jù)，并設(shè)計出了基于REST風(fēng)格

3、的統(tǒng)一訪問接口。
　　其次，針對非關(guān)系型數(shù)據(jù)庫的性能這一問題，對HBase數(shù)據(jù)庫進行了研究，分析了HBase RPC客戶端與服務(wù)端的通信機制。HBase RPC客戶端采用的是阻塞通信模式，這種通信模式在網(wǎng)絡(luò)高負載等情況下會引起客戶端線程的阻塞，降低了系統(tǒng)的通信效率。因此提出了非阻塞式的HBase RPC客戶端通信模型，并通過Java NIO技術(shù)實現(xiàn)。
　　最后，實現(xiàn)了基于HBase的統(tǒng)一存儲與訪問的系統(tǒng)原型。原型采用MySQ