高效的KStore數(shù)據(jù)庫(kù)索引技術(shù)研究與實(shí)現(xiàn).pdf

1、“數(shù)據(jù)”一詞已經(jīng)成為當(dāng)今互聯(lián)網(wǎng)行業(yè)中最熱門(mén)的關(guān)鍵詞之一，越來(lái)越多的行業(yè)應(yīng)用需要有數(shù)據(jù)庫(kù)作為服務(wù)端的支撐，而這之中，又有很多應(yīng)用需要處理海量的數(shù)據(jù)。對(duì)于數(shù)據(jù)密集型應(yīng)用，需要有可接受的存儲(chǔ)代價(jià)，更為重要的是針對(duì)海量數(shù)據(jù)的查詢(xún)，這些應(yīng)用仍需要有快速響應(yīng)的能力。
　　因此，巨大數(shù)據(jù)量環(huán)境下數(shù)據(jù)庫(kù)索引技術(shù)的研究有著非常重要的實(shí)際意義。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的存儲(chǔ)結(jié)構(gòu)和索引技術(shù)已經(jīng)不能滿(mǎn)足海量數(shù)據(jù)處理的性能要求，并且在規(guī)模擴(kuò)展能力方面也顯得力不從心

2、。本文所要討論的是構(gòu)建在KSTORE數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)之上的一系列索引技術(shù)，這些技術(shù)很好地滿(mǎn)足了實(shí)際商業(yè)應(yīng)用中海量數(shù)據(jù)處理的性能需求。
　　本文對(duì)當(dāng)前各大主流數(shù)據(jù)倉(cāng)庫(kù)使用的存儲(chǔ)結(jié)構(gòu)和索引技術(shù)進(jìn)行了介紹和分析，結(jié)合海量數(shù)據(jù)環(huán)境下數(shù)據(jù)存儲(chǔ)和訪問(wèn)的特點(diǎn)，總結(jié)了這些技術(shù)存在的問(wèn)題和不足之處，具體分析了主要的技術(shù)挑戰(zhàn)。
　　隨后即是本文的主要工作，KSTORE數(shù)據(jù)庫(kù)中使用的高效、線(xiàn)性可擴(kuò)展的專(zhuān)用索引技術(shù)，它們以低計(jì)算和存儲(chǔ)代價(jià)解決了常用基

3、本語(yǔ)句的查詢(xún)。首先介紹了KSTORE數(shù)據(jù)庫(kù)使用的存儲(chǔ)結(jié)構(gòu)——行列混合存儲(chǔ)技術(shù)，提出了分片數(shù)據(jù)包的概念;隨后提出了基于分片數(shù)據(jù)包的基本索引，這類(lèi)索引主要用于范圍查詢(xún)過(guò)濾;接著詳細(xì)闡述了對(duì)等值查詢(xún)有很好的數(shù)據(jù)過(guò)濾能力的分段哈希索引技術(shù)，在展示其數(shù)據(jù)過(guò)濾效果的同時(shí)，給出了它對(duì)數(shù)據(jù)裝載性能的影響;本文提出了一個(gè)新穎的索引——子串索引，它用于優(yōu)化含有LIKE謂詞的查詢(xún)，詳盡的理論分析和測(cè)試結(jié)果展現(xiàn)了該索引技術(shù)不僅具有相對(duì)微小的空間復(fù)雜度，同時(shí)還具