基于XML索引和緩存的查詢優(yōu)化.pdf

1、XML隨著互聯(lián)網的飛速發(fā)展應運而生,已經成為網絡上數據表示和交換的基礎。XML在各個領域得到廣泛應用,研究人員在XML的存儲模式、查詢處理、以及文檔索引等方面都進行了深入的研究,并獲得了豐碩的成果。然而,現(xiàn)有XML查詢引擎存在自適應性能低,缺乏對多查詢的批量處理以及低效的查詢復用性等問題,影響了查詢引擎的查詢性能和可擴展性。
　　 本文首先對現(xiàn)有的XML索引的不同方法進行了綜述,介紹了XML索引中的相關概念,闡述了典型的XML索

2、引的構建方法和主要技術,分析了現(xiàn)有索引的特點和存在的問題,概括了文本索引、元素索引、路徑索引、序列索引等不同類型索引的研究內容,梳理了各類索引的發(fā)展脈絡和思想來源,并對不同的方法實現(xiàn)進行了總結,結合現(xiàn)有的應用和研究成果,展望了XML索引未來的發(fā)展方向及其面臨的挑戰(zhàn)。同時,本文剖析了XML緩存設計中涉及的相關問題,總結了現(xiàn)有XML緩存系統(tǒng)的方法,并分析了各種緩存系統(tǒng)的優(yōu)缺點和應用環(huán)境。根據現(xiàn)有索引和緩存技術中存在的問題,本文在XML自適應

3、索引,支持多查詢處理的XML索引以及XML緩存等方面進行了深入的研究和探討,提出了高效的算法和相關技術,并通過大量的實驗與現(xiàn)有方法進行了對比,從實驗角度證明了本文所提出的算法的有效性,以及算法在不同查詢類型和數據集上的可擴展性。本文的研究成果不僅在理論上具有指導意義,而且在實際應用中也具有實用價值。本文的具體工作包括:
　　 1)設計了具有高效調整性能和查詢性能的自適應索引AS-Index。自適應索引具有根據用戶查詢動態(tài)調整索引

4、結構的特點。調整后的索引能夠高效的回答頻繁查詢,從而提高索引的整體性能。在本文中,我們設計了新穎的自適應索引。與以往的自適應索引不同,我們的自適應索引具有以下特點。首先,我們的自適應索引具有高效的調整性能。通過增加調整粒度,可以以一組結點為單位進行分裂或者聚合操作,而不同于以往的以單個結點為單位的調整操作。其次,通過探索查詢之間的包含關系,我們的自適應索引可以實現(xiàn)局部的調整過程,縮小了調整范圍,避免調整過程對整個索引的影響。最后,我們設

5、計高效的查詢過程,特別是針對非頻繁查詢,能夠充分利用索引結構中的頻繁查詢來回答非頻繁的查詢,使得查詢過程在一個局部中進行,有效的提高了查詢性能。
　　 2)設計了能夠支持多查詢批量處理的結構索引SIMP?，F(xiàn)有的索引都是依次執(zhí)行查詢,考慮多客戶端.服務器端環(huán)境,多個客戶端傳輸查詢到服務器端執(zhí)行,所傳輸的查詢可能包括很多重復查詢,而且不同的查詢之間也會包含很多共享的部分。重復執(zhí)行這些相同的查詢或查詢部分會引起不必要的開銷,增加服務器

6、端的負擔。另一方面,現(xiàn)有索引在查詢操作中依賴導航匹配。很多前期匹配的結點可能無法導致最終的匹配結果,這些無結果導航同樣會增加服務器端的開銷。在本文中,我們探索回答多查詢的索引方法。首先,我們?yōu)閄ML文檔建立索引,聚合文檔中的相同路徑,并且能夠增加文檔索引的過濾能力,盡可能過濾無結果的查詢。
　　 其次,為一組查詢建立合適的索引,聚合相同查詢及其查詢中的共享部分.在以上兩種索引的基礎上,我們設計了新穎的查詢方法,能夠同時處理一組查

7、詢。查詢過程使用基于哈希連接的方法代替導航匹配,能夠盡量過濾無結果查詢,避免不必要的冗余操作。我們進一步提出了一系列的優(yōu)化措施,用于擴展索引支持的查詢類型,提高一組查詢中的共享部分,提高頻繁查詢的查詢性能。
　　 3)設計了具有較高性能的XML緩存系統(tǒng)UD-Cache。緩存技術是加速查詢的重要方法之一。在本文中,我們設計了新穎的XML緩存系統(tǒng)。我們首先設計了更加寬松的可回答標準,能夠比現(xiàn)有的緩存系統(tǒng)具有更好的命中率。在此可回答標

8、準的基礎上,我們提出了高效的視圖選擇和視圖回答方法,只要使用一遍掃描就能在含有上百萬的視圖中確定是否含有合適的視圖,避免了現(xiàn)有緩存中的多次掃描過程。并且設計了緊縮的XML文檔總結,用于輔助執(zhí)行視圖回答過程?，F(xiàn)有緩存系統(tǒng)的視圖回答過程是向下的查詢過程,本文中緩存系統(tǒng)的視圖回答過程包括向上的驗證過程和向下的查詢過程。最后,通過一系列的優(yōu)化方法,本文進一步優(yōu)化了提出的緩存系統(tǒng)。
　　 總之,本文對現(xiàn)有的XML索引和緩存技術進行了深入的

9、分析和比較,根據現(xiàn)有技術的缺陷和不足,提出了針對用戶查詢的自適應索引、支持多查詢的索引以及高效的XML緩存技術,并使用不同類型的查詢和數據集對本文提出的方法進行了驗證。實驗證明,本文提出的方法在不同類型的數據集上具有高效的查詢性能,并可以擴展到不同的文檔大小和查詢類型。本文中提出的技術可以應用于原生XML數據庫,用來加速查詢處理。也可用于關系數據庫中XML文檔或片斷的查詢處理,結合原生文檔查詢和關系數據庫的查詢引擎特點,具備良好的靈活性