基于云計算的數(shù)據(jù)庫關鍵詞查詢技術研究.pdf

1、關系數(shù)據(jù)庫關鍵詞搜索為不了解數(shù)據(jù)庫模式、不具備結構化查詢語言知識的普通用戶提供了一種有效獲取數(shù)據(jù)庫信息的方式，越來越受到研究人員的關注。許多研究把關系數(shù)據(jù)轉換成一個數(shù)據(jù)圖，圖中的節(jié)點和邊可以關聯(lián)文本內容。數(shù)據(jù)圖能夠還原數(shù)據(jù)原本的存在形式和數(shù)據(jù)間的關系，因此數(shù)據(jù)庫關鍵詞查詢被轉化為對數(shù)據(jù)圖的檢索。當前，隨著海量數(shù)據(jù)不斷涌現(xiàn)，數(shù)據(jù)庫的規(guī)模與日俱增，元組之間關系也愈加復雜，關鍵詞查詢任務同時具備了數(shù)據(jù)密集型和計算密集型的特征。如何存儲大規(guī)模數(shù)

2、據(jù)圖、如何高效檢索大規(guī)模數(shù)據(jù)圖以及如何保證海量數(shù)據(jù)環(huán)境下關鍵詞查詢的查全率等是值得研究的問題。本文針對上述問題提出了解決思路，主要工作體現(xiàn)在三個方面。
　　目前關系數(shù)據(jù)的關鍵詞查詢普遍直接對RDBMS進行查詢，查詢效率受到數(shù)據(jù)庫自身性能的限制，尤其是在海量數(shù)據(jù)場景下。本文根據(jù)關系數(shù)據(jù)庫各個數(shù)據(jù)表記錄之間的主外鍵約束關系將關系數(shù)據(jù)庫中的數(shù)據(jù)轉換成數(shù)據(jù)圖并序列化存放在分布式文件系統(tǒng)HDFS中，HDFS具有良好的橫向可擴展性，為實施大規(guī)

3、模數(shù)據(jù)圖搜索奠定了基礎。
　　目前對數(shù)據(jù)圖檢索算法的研究大多借鑒了BANKS中提出的逆向擴展搜索算法，后續(xù)的一些研究局限于對算法本身的微小改進，沒有考慮到對數(shù)據(jù)圖進行分布存儲、并行搜索，而現(xiàn)有串行的算法在處理大規(guī)模數(shù)據(jù)圖時不具備可擴展性。針對上述問題，本文引入分布式計算模型，把逆向搜索算法并行化，分別提出了基于MapReduce和Spark的逆向搜索算法，并做了實驗驗證，為云計算環(huán)境下的數(shù)據(jù)圖檢索提出了思路。
　　BANKS

4、中提出的逆向搜索算法為了減少一定的搜索空間，在某個節(jié)點同時成為多棵結果樹的根節(jié)點的情況下只會輸出一棵結果樹。在海量數(shù)據(jù)環(huán)境下這種策略帶來的結果丟失問題會被成倍放大，本文在基于Spark的逆向搜索算法中對此做了改進。首先找出所有候選的根節(jié)點，然后從每個候選根節(jié)點出發(fā)進行前向搜索，只要根節(jié)點到包含關鍵詞的葉子節(jié)點之間存在路徑，就輸出對應的結果樹，而不考慮根節(jié)點是否已經(jīng)包含在其它結果樹中。這種方法在Spark內建的函數(shù)式轉換中實現(xiàn)方便，且提高