Q+海量用戶數(shù)據(jù)存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起,傳統(tǒng)的關(guān)系數(shù)據(jù)庫在海量數(shù)據(jù)存儲方面暴露了很多難以克服的問題,尤其是大規(guī)模并發(fā)讀寫的SNS類型的網(wǎng)站,在海量用戶數(shù)據(jù)、高性能、高擴展性和高可用性等方面?zhèn)鹘y(tǒng)的關(guān)系數(shù)據(jù)庫顯得非常力不從心,為了解決這類問題,NoSQL非關(guān)系數(shù)據(jù)庫應(yīng)運而生。
　　NoSQL與關(guān)系數(shù)據(jù)庫相比,沒有固定的表結(jié)構(gòu),也不存在連接操作,在大數(shù)據(jù)存取上具有非常好的性能優(yōu)勢,而且能夠適應(yīng)當今應(yīng)用體系結(jié)構(gòu)在數(shù)據(jù)存儲橫向伸縮性上的需要,是當

2、今海量數(shù)據(jù)存儲的首選方案。
　　本課題以騰訊科技(深圳)有限公司的實際需求為背景,目的是為了承載QQ用戶Q+數(shù)據(jù)的存儲工作,使Q+平臺能夠應(yīng)對迅速增長的海量用戶的數(shù)據(jù)存儲,以及用戶的大規(guī)模并發(fā)讀寫訪問需要,并且保證數(shù)據(jù)的可靠,服務(wù)的穩(wěn)定。
　　本文并未基于現(xiàn)有的key-value產(chǎn)品,而是結(jié)合Q+平臺特性設(shè)計了一套特有的適合Q+平臺的存儲方案。采用全量用戶數(shù)據(jù)緩存的設(shè)計,利用多級哈希表技術(shù)快速定位用戶數(shù)據(jù),使用靜態(tài)鏈表技術(shù)實

3、現(xiàn)變長存儲,用戶數(shù)據(jù)可以靈活擴展。采用分層索引的設(shè)計,所有QQ號以Unit為單位劃分給不同機器上的不同進程,讀寫訪問根據(jù)Unit配置進行路由。采用多機房異地部署,就近接入,分散系統(tǒng)壓力,可以防止更大規(guī)模災(zāi)難給系統(tǒng)帶來的不可恢復(fù)的傷害。用戶數(shù)據(jù)讀寫訪問面向Q+平臺四大類數(shù)據(jù)提供更加細粒度的接口,減少網(wǎng)絡(luò)流量。數(shù)據(jù)備份采用定期Dump緩存到文件以及記錄實時流水的方式進行,當緩存數(shù)據(jù)丟失時可以通過Load文件和Redo流水來恢復(fù)緩存數(shù)據(jù)。