XML關(guān)鍵字過濾技術(shù).pdf

1、XML是網(wǎng)絡數(shù)據(jù)存儲和交換的一種重要標準。在RSS等新型網(wǎng)絡應用中，使用XML作為數(shù)據(jù)表示語言，用戶通過關(guān)鍵字來表達查詢需求，應用系統(tǒng)獲取符合用戶查詢的XML數(shù)據(jù)片段，作為結(jié)果返回給用戶。然而網(wǎng)絡上的數(shù)據(jù)日益膨脹，如何從海量的數(shù)據(jù)流中，過濾有價值的信息片段，不僅具有研究價值，而且具有重要的應用價值。
　　 本文從確定XML、概率XML兩個方面，重點研究了基于SLCA(Smallest Low-est Common Ancesto

2、r)關(guān)鍵字過濾的效率問題和模型問題。在確定XML環(huán)境下，以往針對靜態(tài)XML數(shù)據(jù)建立中心索引進行的關(guān)鍵字檢索不適用于XML關(guān)鍵字過濾。針對過濾場景下XML數(shù)據(jù)的特點構(gòu)造一遍掃描的算法有效實現(xiàn)關(guān)鍵字檢索是本文的研究內(nèi)容之一。本文使用MapReduce分布式計算技術(shù)，解決數(shù)據(jù)膨脹導致的關(guān)鍵字過濾的效率問題。對于概率XML，以往的研究關(guān)注于IND(independent)和MUX(mutuallyexclusive)關(guān)系的探討，忽略了兄弟結(jié)點間

3、存在的其他依賴關(guān)系。對具有廣泛兄弟結(jié)點依賴關(guān)系的概率XML的建模和關(guān)鍵字過濾也是本文的研究內(nèi)容之一。
　　 本文的主要貢獻有：
　　 ·給出概率XML中SLCA結(jié)點的定義。定義孩子結(jié)點傳遞給父親結(jié)點的信息tab，給出了tab信息上的點積、加法、笛卡爾積運算，實現(xiàn)概率XML模型PrXML{ind，mux}租PrXML{exp，ind，mux)中基于SLCA的關(guān)鍵字過濾。較同類模型PrXML{ind，mux}上的關(guān)鍵字檢索，

4、本文使用的方法效率更高。
　　 ·構(gòu)建基于貝葉斯網(wǎng)的概率XML模型PrXML-BN。定義從概率XML文檔到貝葉斯網(wǎng)的映射方法，將SLCA語義引入貝葉斯網(wǎng)，完成基于SLCA的概率XML關(guān)鍵字過濾。采用圖結(jié)點約減和結(jié)果緩存的方法，提高系統(tǒng)過濾效率。
　　 ·針對確定XML關(guān)鍵字過濾問題，提出了一種高效的SLCA計算服務。它不需要事先構(gòu)建索引，不依賴于任何結(jié)點編碼方式，單遍掃描數(shù)據(jù)就可以得到SLCA結(jié)點，避免了以往SLCA檢索

5、方法冗余的中間結(jié)果，具有較高的關(guān)鍵字過濾效率。
　　 ·用分布式系統(tǒng)解決大數(shù)據(jù)量確定XML關(guān)鍵字過濾的效率問題。利用Hadoop平臺，將任務的分解轉(zhuǎn)化為數(shù)據(jù)的分解，解決XML關(guān)鍵字檢索的大數(shù)據(jù)量問題。為了避免Hadoop平臺將結(jié)構(gòu)緊密的XML數(shù)據(jù)任意透明劃分，本文給出大型原生XML文檔的拆分策略及一整套XML數(shù)據(jù)的分布式計算方法。
　　 本文對過濾場景下XML的關(guān)鍵字過濾技術(shù)進行了系統(tǒng)的研究，定義概率XML中的SLCA結(jié)