基于關系型數(shù)據(jù)庫的數(shù)據(jù)切分問題研究.pdf

1、隨著中國經(jīng)濟的快速發(fā)展，人們的生活水平不斷提高，網(wǎng)絡在中國得到迅速普及。截止到2015年底，中國的網(wǎng)民數(shù)量已達到了6.88億。再加上網(wǎng)絡設備和傳輸介質(zhì)等硬件的更新?lián)Q代，網(wǎng)速大大提高，由此產(chǎn)生了海量的應用數(shù)據(jù)。有的大型互聯(lián)網(wǎng)公司每天產(chǎn)生幾十TB的數(shù)據(jù)，接受數(shù)十億次的訪問。這就對數(shù)據(jù)庫性能提出了更高的要求，而傳統(tǒng)的關系型數(shù)據(jù)庫存儲能力有限，擴展能力又不強，已不能滿足大規(guī)模數(shù)據(jù)的存儲、訪問需要。
　　分布式數(shù)據(jù)庫系統(tǒng)通過把多臺單機數(shù)據(jù)庫

2、組合成一個統(tǒng)一的整體，實現(xiàn)了數(shù)據(jù)的分布式存儲，分布式訪問，是解決海量數(shù)據(jù)訪問和存儲問題的理想方案。分布式數(shù)據(jù)庫自從上世紀七十年代提出以來，經(jīng)過多年發(fā)展，已經(jīng)誕生了很多優(yōu)秀產(chǎn)品。而應用從單點數(shù)據(jù)庫系統(tǒng)向分布式數(shù)據(jù)庫系統(tǒng)轉(zhuǎn)換時遇到的首要問題就是數(shù)據(jù)切分問題，即按照什么算法把數(shù)據(jù)切分到不同的物理節(jié)點上。
　　本文以數(shù)據(jù)切分為主題，進行了以下兩方面的工作:
　　一是結(jié)合現(xiàn)有的數(shù)據(jù)切分算法，提出了一種基于范圍切分和哈希切分的組合算法。

3、全局上，數(shù)據(jù)按增量區(qū)間進行切分，切分的片段不是分布在一個數(shù)據(jù)節(jié)點，而是一個節(jié)點組內(nèi);局部上，也就是在節(jié)點組內(nèi)，片段會再按簡單哈希方式均勻分布到組內(nèi)各數(shù)據(jù)節(jié)點上。該算法繼承了范圍切分和哈希切分的優(yōu)點——數(shù)據(jù)分布均勻、擴展能力強，同時又規(guī)避了其缺點，是一種綜合能力優(yōu)秀的切分算法。在和一致性哈希算法的對比實驗中，該算法表現(xiàn)出了較好的數(shù)據(jù)訪問能力和擴展能力。尤其是可以很方便地進行數(shù)據(jù)擴容，無須遷移任何數(shù)據(jù)。在具體應用測試中，解決了大規(guī)模數(shù)據(jù)查詢

4、延遲問題，具有良好的應用價值。
　　二是針對數(shù)據(jù)切分應用做了一些工作。數(shù)據(jù)切分要想投入應用，必須解決兩個基本問題:自增主鍵唯一性問題和分布式連接問題。這兩個問題也是數(shù)據(jù)庫從單點發(fā)展到分布式時所面臨的最基本問題，對分布式系統(tǒng)的可用性和性能都具有重要影響。本文在借鑒前人成果的基礎上，討論分析了各種場景，最后分別給出了可行的解決方案，并進行了代碼實現(xiàn)。對于自增主鍵不唯一問題，給出了一種全局序列生成方案，通過維護一個全局序列表來生成自增長