基于云計(jì)算的數(shù)據(jù)庫(kù)關(guān)鍵詞查詢技術(shù)研究.pdf

1、關(guān)系數(shù)據(jù)庫(kù)關(guān)鍵詞搜索為不了解數(shù)據(jù)庫(kù)模式、不具備結(jié)構(gòu)化查詢語(yǔ)言知識(shí)的普通用戶提供了一種有效獲取數(shù)據(jù)庫(kù)信息的方式，越來(lái)越受到研究人員的關(guān)注。許多研究把關(guān)系數(shù)據(jù)轉(zhuǎn)換成一個(gè)數(shù)據(jù)圖，圖中的節(jié)點(diǎn)和邊可以關(guān)聯(lián)文本內(nèi)容。數(shù)據(jù)圖能夠還原數(shù)據(jù)原本的存在形式和數(shù)據(jù)間的關(guān)系，因此數(shù)據(jù)庫(kù)關(guān)鍵詞查詢被轉(zhuǎn)化為對(duì)數(shù)據(jù)圖的檢索。當(dāng)前，隨著海量數(shù)據(jù)不斷涌現(xiàn)，數(shù)據(jù)庫(kù)的規(guī)模與日俱增，元組之間關(guān)系也愈加復(fù)雜，關(guān)鍵詞查詢?nèi)蝿?wù)同時(shí)具備了數(shù)據(jù)密集型和計(jì)算密集型的特征。如何存儲(chǔ)大規(guī)模數(shù)

2、據(jù)圖、如何高效檢索大規(guī)模數(shù)據(jù)圖以及如何保證海量數(shù)據(jù)環(huán)境下關(guān)鍵詞查詢的查全率等是值得研究的問(wèn)題。本文針對(duì)上述問(wèn)題提出了解決思路，主要工作體現(xiàn)在三個(gè)方面。
　　目前關(guān)系數(shù)據(jù)的關(guān)鍵詞查詢普遍直接對(duì)RDBMS進(jìn)行查詢，查詢效率受到數(shù)據(jù)庫(kù)自身性能的限制，尤其是在海量數(shù)據(jù)場(chǎng)景下。本文根據(jù)關(guān)系數(shù)據(jù)庫(kù)各個(gè)數(shù)據(jù)表記錄之間的主外鍵約束關(guān)系將關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)圖并序列化存放在分布式文件系統(tǒng)HDFS中，HDFS具有良好的橫向可擴(kuò)展性，為實(shí)施大規(guī)

3、模數(shù)據(jù)圖搜索奠定了基礎(chǔ)。
　　目前對(duì)數(shù)據(jù)圖檢索算法的研究大多借鑒了BANKS中提出的逆向擴(kuò)展搜索算法，后續(xù)的一些研究局限于對(duì)算法本身的微小改進(jìn)，沒(méi)有考慮到對(duì)數(shù)據(jù)圖進(jìn)行分布存儲(chǔ)、并行搜索，而現(xiàn)有串行的算法在處理大規(guī)模數(shù)據(jù)圖時(shí)不具備可擴(kuò)展性。針對(duì)上述問(wèn)題，本文引入分布式計(jì)算模型，把逆向搜索算法并行化，分別提出了基于MapReduce和Spark的逆向搜索算法，并做了實(shí)驗(yàn)驗(yàn)證，為云計(jì)算環(huán)境下的數(shù)據(jù)圖檢索提出了思路。
　　BANKS

4、中提出的逆向搜索算法為了減少一定的搜索空間，在某個(gè)節(jié)點(diǎn)同時(shí)成為多棵結(jié)果樹(shù)的根節(jié)點(diǎn)的情況下只會(huì)輸出一棵結(jié)果樹(shù)。在海量數(shù)據(jù)環(huán)境下這種策略帶來(lái)的結(jié)果丟失問(wèn)題會(huì)被成倍放大，本文在基于Spark的逆向搜索算法中對(duì)此做了改進(jìn)。首先找出所有候選的根節(jié)點(diǎn)，然后從每個(gè)候選根節(jié)點(diǎn)出發(fā)進(jìn)行前向搜索，只要根節(jié)點(diǎn)到包含關(guān)鍵詞的葉子節(jié)點(diǎn)之間存在路徑，就輸出對(duì)應(yīng)的結(jié)果樹(shù)，而不考慮根節(jié)點(diǎn)是否已經(jīng)包含在其它結(jié)果樹(shù)中。這種方法在Spark內(nèi)建的函數(shù)式轉(zhuǎn)換中實(shí)現(xiàn)方便，且提高