基于NoSQL存儲(chǔ)系統(tǒng)的研究與應(yīng)用.pdf

1、傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)具有良好的可擴(kuò)展性、高可用性、高穩(wěn)定性，得到了廣泛使用。但關(guān)系數(shù)據(jù)庫(kù)畢竟是通用型的數(shù)據(jù)庫(kù)，存在靈活性不足，大數(shù)據(jù)量情況下響應(yīng)速度慢等問(wèn)題，因而不能完全適用于大數(shù)據(jù)時(shí)代互聯(lián)網(wǎng)應(yīng)用的需求。鑒于此，研究人員研發(fā)了各種各樣數(shù)據(jù)庫(kù)技術(shù)彌補(bǔ)關(guān)系數(shù)據(jù)庫(kù)的不足。其中以NoSQL為代表的新型數(shù)據(jù)庫(kù)因數(shù)據(jù)模型靈活、響應(yīng)速度快，可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)越來(lái)越受到人們的關(guān)注，但是現(xiàn)有很多系統(tǒng)是基于關(guān)系數(shù)據(jù)庫(kù)的，如何從現(xiàn)有關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中引入NoSQL數(shù)據(jù)

2、庫(kù)，讓關(guān)系數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)各自發(fā)揮其優(yōu)秀的性能仍是目前急需解決的問(wèn)題。
　　本文依托于實(shí)際開(kāi)發(fā)的項(xiàng)目——校園58分類信息平臺(tái)，在關(guān)系數(shù)據(jù)庫(kù)基礎(chǔ)上引入NoSQL數(shù)據(jù)庫(kù)，研究?jī)烧咴谏疃热诤戏矫娴年P(guān)鍵技術(shù)，包括建立了以關(guān)系數(shù)據(jù)庫(kù)為主庫(kù)，以Redis為從庫(kù)的異構(gòu)讀寫分離方案、數(shù)據(jù)同步技術(shù)、客戶端分片集群均衡技術(shù)等。主要完成以下幾個(gè)方面的內(nèi)容。
　?、籴槍?duì)原有MySQL系統(tǒng)單一存儲(chǔ)架構(gòu)，引入了Redis這種新型的NoSQL數(shù)據(jù)

3、庫(kù)，改進(jìn)存儲(chǔ)系統(tǒng)的整體架構(gòu)方案，讓MySQL負(fù)責(zé)存儲(chǔ)所有數(shù)據(jù)，提供持久化支持，Redis數(shù)據(jù)庫(kù)負(fù)責(zé)緩存數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單、讀取頻率高的數(shù)據(jù)。服務(wù)器接收到寫入請(qǐng)求時(shí)，直接往MySQL中寫入數(shù)據(jù)，并定時(shí)同步熱點(diǎn)數(shù)據(jù)到Redis中。服務(wù)器接收到讀操作請(qǐng)求時(shí)，首先在Redis中讀取數(shù)據(jù)，讀取失敗再?gòu)腗ySQL中讀取數(shù)據(jù)。從而實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)讀寫分離，提高了大數(shù)據(jù)量高并發(fā)情況下系統(tǒng)訪問(wèn)效率。
　　②根據(jù)大數(shù)據(jù)量存儲(chǔ)遷移的需求，在分析、總結(jié)現(xiàn)有存儲(chǔ)結(jié)

4、構(gòu)和數(shù)據(jù)遷移技術(shù)的基礎(chǔ)上，設(shè)計(jì)了合適的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，利用Redis管道機(jī)制對(duì)數(shù)據(jù)遷移方案進(jìn)行改進(jìn);同時(shí)在大數(shù)據(jù)量情況下采用hash結(jié)構(gòu)、簡(jiǎn)化鍵名的方式節(jié)約內(nèi)存;通過(guò)多線程合并操作減少網(wǎng)絡(luò)開(kāi)銷，提高系統(tǒng)運(yùn)行效率。
　?、垭S著用戶量越來(lái)越多，數(shù)據(jù)量越來(lái)越大，單臺(tái)數(shù)據(jù)庫(kù)服務(wù)器滿足不了日益增長(zhǎng)數(shù)據(jù)量的需求，需要在系統(tǒng)中實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)集群。本文針對(duì)現(xiàn)有Redis分布式集群負(fù)載均衡技術(shù)存在的不足，提出了帶冗余數(shù)據(jù)的一致性hash算法，優(yōu)化了