面向大數(shù)據(jù)查詢(xún)的索引技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，全球數(shù)據(jù)量呈爆炸性增長(zhǎng)，并且數(shù)據(jù)種類(lèi)極為豐富，傳統(tǒng)的存儲(chǔ)模型和索引技術(shù)已經(jīng)無(wú)法適用于現(xiàn)今的大數(shù)據(jù)管理環(huán)境中。因此，針對(duì)大數(shù)據(jù)的特點(diǎn)和需求，借鑒傳統(tǒng)索引技術(shù)的設(shè)計(jì)思想，研究面向大數(shù)據(jù)的索引技術(shù)已經(jīng)成為學(xué)術(shù)界比較關(guān)注的研究課題。
　　大數(shù)據(jù)具有多樣性，也就是說(shuō)組織中的數(shù)據(jù)不再單單是過(guò)去傳統(tǒng)的結(jié)構(gòu)化的關(guān)系型數(shù)據(jù)，還包括來(lái)自網(wǎng)頁(yè)、社交媒體、電子郵件等大量非結(jié)構(gòu)化數(shù)據(jù)。由于兩種數(shù)據(jù)具有異構(gòu)性，所以經(jīng)常被分開(kāi)存儲(chǔ)和處

2、理，但在一個(gè)應(yīng)用系統(tǒng)中，往往存在大量的相互關(guān)聯(lián)的異構(gòu)數(shù)據(jù)，而當(dāng)用戶(hù)需要搜索這些數(shù)據(jù)時(shí)，亟需要一種索引機(jī)制實(shí)現(xiàn)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的快速統(tǒng)一訪問(wèn)。而在過(guò)去的研究中，只是針對(duì)某一種數(shù)據(jù)類(lèi)型的索引技術(shù)進(jìn)行研究和應(yīng)用，對(duì)異構(gòu)數(shù)據(jù)索引技術(shù)的研究工作還很少，極其缺乏一個(gè)完善的索引機(jī)制用于解決異構(gòu)海量數(shù)據(jù)的查詢(xún)問(wèn)題。
　　除多樣性外，大數(shù)據(jù)還具有一個(gè)明顯的特征便是海量性。為了存儲(chǔ)海量的數(shù)據(jù)，出現(xiàn)了很多具有代表性的分布式存儲(chǔ)和管理系統(tǒng)，如Goog

3、le的分布式文件系統(tǒng)GFS、雅虎的PNUTS、Hadoop的HDFS等。但它們大部分只提供簡(jiǎn)單的基于主鍵的快速查詢(xún)，因缺乏必要的索引等機(jī)制，而無(wú)法高效地支持多種查詢(xún)方式，如范圍查詢(xún)、非主鍵查詢(xún)等。因此，為滿(mǎn)足用戶(hù)的多樣化查詢(xún)需求，提高數(shù)據(jù)查詢(xún)處理的效率，對(duì)海量數(shù)據(jù)的索引技術(shù)展開(kāi)研究已成為一個(gè)亟待解決的挑戰(zhàn)性問(wèn)題。
　　針對(duì)上述兩個(gè)方面的問(wèn)題和挑戰(zhàn)，本文主要做了以下工作:
　　(1)提出一種關(guān)聯(lián)索引模型，用于解決海量異構(gòu)數(shù)據(jù)的

4、統(tǒng)一查詢(xún)問(wèn)題。該索引機(jī)制利用結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間對(duì)共同實(shí)體的描述來(lái)建立聯(lián)系，并將該實(shí)體作為關(guān)鍵字創(chuàng)建索引。索引的結(jié)構(gòu)采用web上廣泛使用的RDF元數(shù)據(jù)形式，來(lái)描述實(shí)體與結(jié)構(gòu)化和非結(jié)構(gòu)化資源之間的對(duì)應(yīng)關(guān)系。為了減少關(guān)聯(lián)索引的冗余以及快速定位相應(yīng)資源，本模型在關(guān)聯(lián)索引層之下又引入輔助索引層，分別為結(jié)構(gòu)化數(shù)據(jù)創(chuàng)建B+tree索引，為非結(jié)構(gòu)化的自由文檔創(chuàng)建基于實(shí)體的倒排索引。該關(guān)聯(lián)索引模型很好的解決了結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)索引分離的問(wèn)

5、題，為混合數(shù)據(jù)的查詢(xún)提供了統(tǒng)一的接口。最后通過(guò)實(shí)驗(yàn)結(jié)果分析表明，該索引體制不僅能夠有效地支持異構(gòu)數(shù)據(jù)的混合查詢(xún)，而且還提高了查詢(xún)結(jié)果的準(zhǔn)確性。
　　(2)提出一種兩級(jí)位圖索引模型，將精簡(jiǎn)的位圖索引模式應(yīng)用到大數(shù)據(jù)環(huán)境中，結(jié)合MapReduce并行計(jì)算框架為存儲(chǔ)在分布式文件系統(tǒng)中的海量數(shù)據(jù)分別創(chuàng)建基于分塊級(jí)別的位圖索引和記錄級(jí)別的位圖索引。分塊級(jí)別的位圖索引相當(dāng)于一個(gè)全局位圖，指示某個(gè)屬性值在各個(gè)分塊中的存在情況，從而避免查詢(xún)不相關(guān)