基于LCA并行的XML關(guān)鍵字查詢.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，信息呈爆炸式的增長。Web網(wǎng)頁在全球范圍的使用使得半結(jié)構(gòu)化數(shù)據(jù)變得越來越普遍也越來越重要。我們可以通過互聯(lián)網(wǎng)從世界各地接收和發(fā)送信息，然而，信息交互的過程中遇到了一個突出的問題:不同的平臺用到的數(shù)據(jù)格式可能是各種各樣的，也就是數(shù)據(jù)格式的異構(gòu)性問題。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在處理這些問題時捉襟見肘，XML就是在這種情況下發(fā)展起來的，它為這一問題的解決提供了理論和技術(shù)支持。隨著XML作為半結(jié)構(gòu)化的標準，它被廣泛的應(yīng)用于Web中的

2、數(shù)據(jù)交換、網(wǎng)上書店的數(shù)據(jù)存儲、各種配置文件以及電子商務(wù)等領(lǐng)域。XML技術(shù)在IT環(huán)境中扮演著越來越重要的角色，已逐漸成為互聯(lián)網(wǎng)上傳遞和交換信息的事實標準。
　　由于大數(shù)據(jù)時代的到來，XML數(shù)據(jù)呈幾何級的增長，如何在龐大的數(shù)據(jù)中快速的獲得需要的信息變得至關(guān)重要。越來越多的人在研究XML的查詢方式，更高效率、更大吞吐量的XML查詢方法的研究顯得越發(fā)重要和迫切，并行查詢方式走進了人們的視野。
　　XML查詢分為兩大類，一類是基于圖模

3、型的查詢，另一類是基于樹模型的查詢。而基于樹模型的查詢是現(xiàn)今研究最多的一種查詢。樹模型的基礎(chǔ)是LCA，即最緊致片段。基于LCA有各種各樣的查詢方式，如基于結(jié)果集的查詢，基于語義的查詢等等，它們都是通過提出新的算法或者改善已有算法使查詢結(jié)果更全、更快、更符合用戶的意圖。利用并行技術(shù)優(yōu)化查詢的方法是指通過當前硬件具有強大的通用并行計算能力來支持XML查詢，這種方法的研究目前還很少見到，具有較大的研究價值和發(fā)展前景。最新的研究方向有XML數(shù)據(jù)

4、庫并行查詢，或者將不同的XML片段存儲在分布式網(wǎng)絡(luò)，并行的處理這些片段。而本文是分析LCA文檔樹本身所具有的性質(zhì)，提出兩兩分組的并行理念。
　　隨著GPU技術(shù)的迅速發(fā)展，特別是GPU通用計算(GPGPU)的提出和應(yīng)用，GPU以其高度并行的特性正在高性能計算領(lǐng)域發(fā)揮著巨大作用。因此，基于GPU的并行優(yōu)化技術(shù)也逐漸成為研究的熱點。
　　鑒于以上兩點，本文結(jié)合XML查詢技術(shù)和GPU并行計算，提高XML查詢效率。提出了改進的，可以并

5、行的LCA算法。為了實現(xiàn)該算法，首先，由于XML文檔結(jié)構(gòu)的獨特性，我們需要對每一個XML結(jié)點進行編碼，我們要求該編碼不僅能夠唯一標識每一個結(jié)點，而且還能表示出結(jié)點與結(jié)點之間的結(jié)構(gòu)關(guān)系。因此，本文選取Dewey編碼對XML文檔進行編碼。在表示XML文檔的同時，還能夠完成一些簡單的結(jié)點間運算。其次，XML文檔樹中具有相同結(jié)點名的編碼，利用B+樹索引，編碼字符串比較后，按升序排列存儲。因此需要一個適合的容器工具來存放它們。本文采用了嵌入式數(shù)據(jù)

6、庫BerkeleyDB來實現(xiàn)，它使得索引與應(yīng)用程序運行于同樣的地址空間中，消除了與客戶機服務(wù)器配置相關(guān)的開銷，并且應(yīng)用程序不需要事先同數(shù)據(jù)庫服務(wù)建立起網(wǎng)絡(luò)連接，而是通過內(nèi)嵌在程序中的BerkeleyDB函數(shù)庫來完成對數(shù)據(jù)的保存、查詢、修改和刪除等操作。在實驗過程中可以忽略獲取索引的時間，從而削弱了索引對實驗主體的負面影響。
　　在算法方面，首先，本文通過XML文檔樹的特點，提出了一種新的方法，同一個關(guān)鍵字的編碼列只需掃描，提高了L