XML關(guān)鍵字過(guò)濾技術(shù).pdf

1、XML是網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)和交換的一種重要標(biāo)準(zhǔn)。在RSS等新型網(wǎng)絡(luò)應(yīng)用中，使用XML作為數(shù)據(jù)表示語(yǔ)言，用戶通過(guò)關(guān)鍵字來(lái)表達(dá)查詢需求，應(yīng)用系統(tǒng)獲取符合用戶查詢的XML數(shù)據(jù)片段，作為結(jié)果返回給用戶。然而網(wǎng)絡(luò)上的數(shù)據(jù)日益膨脹，如何從海量的數(shù)據(jù)流中，過(guò)濾有價(jià)值的信息片段，不僅具有研究?jī)r(jià)值，而且具有重要的應(yīng)用價(jià)值。
　　 本文從確定XML、概率XML兩個(gè)方面，重點(diǎn)研究了基于SLCA(Smallest Low-est Common Ancesto

2、r)關(guān)鍵字過(guò)濾的效率問(wèn)題和模型問(wèn)題。在確定XML環(huán)境下，以往針對(duì)靜態(tài)XML數(shù)據(jù)建立中心索引進(jìn)行的關(guān)鍵字檢索不適用于XML關(guān)鍵字過(guò)濾。針對(duì)過(guò)濾場(chǎng)景下XML數(shù)據(jù)的特點(diǎn)構(gòu)造一遍掃描的算法有效實(shí)現(xiàn)關(guān)鍵字檢索是本文的研究?jī)?nèi)容之一。本文使用MapReduce分布式計(jì)算技術(shù)，解決數(shù)據(jù)膨脹導(dǎo)致的關(guān)鍵字過(guò)濾的效率問(wèn)題。對(duì)于概率XML，以往的研究關(guān)注于IND(independent)和MUX(mutuallyexclusive)關(guān)系的探討，忽略了兄弟結(jié)點(diǎn)間

3、存在的其他依賴關(guān)系。對(duì)具有廣泛兄弟結(jié)點(diǎn)依賴關(guān)系的概率XML的建模和關(guān)鍵字過(guò)濾也是本文的研究?jī)?nèi)容之一。
　　 本文的主要貢獻(xiàn)有：
　　 ·給出概率XML中SLCA結(jié)點(diǎn)的定義。定義孩子結(jié)點(diǎn)傳遞給父親結(jié)點(diǎn)的信息tab，給出了tab信息上的點(diǎn)積、加法、笛卡爾積運(yùn)算，實(shí)現(xiàn)概率XML模型PrXML{ind，mux}租PrXML{exp，ind，mux)中基于SLCA的關(guān)鍵字過(guò)濾。較同類模型PrXML{ind，mux}上的關(guān)鍵字檢索，

4、本文使用的方法效率更高。
　　 ·構(gòu)建基于貝葉斯網(wǎng)的概率XML模型PrXML-BN。定義從概率XML文檔到貝葉斯網(wǎng)的映射方法，將SLCA語(yǔ)義引入貝葉斯網(wǎng)，完成基于SLCA的概率XML關(guān)鍵字過(guò)濾。采用圖結(jié)點(diǎn)約減和結(jié)果緩存的方法，提高系統(tǒng)過(guò)濾效率。
　　 ·針對(duì)確定XML關(guān)鍵字過(guò)濾問(wèn)題，提出了一種高效的SLCA計(jì)算服務(wù)。它不需要事先構(gòu)建索引，不依賴于任何結(jié)點(diǎn)編碼方式，單遍掃描數(shù)據(jù)就可以得到SLCA結(jié)點(diǎn)，避免了以往SLCA檢索

5、方法冗余的中間結(jié)果，具有較高的關(guān)鍵字過(guò)濾效率。
　　 ·用分布式系統(tǒng)解決大數(shù)據(jù)量確定XML關(guān)鍵字過(guò)濾的效率問(wèn)題。利用Hadoop平臺(tái)，將任務(wù)的分解轉(zhuǎn)化為數(shù)據(jù)的分解，解決XML關(guān)鍵字檢索的大數(shù)據(jù)量問(wèn)題。為了避免Hadoop平臺(tái)將結(jié)構(gòu)緊密的XML數(shù)據(jù)任意透明劃分，本文給出大型原生XML文檔的拆分策略及一整套XML數(shù)據(jù)的分布式計(jì)算方法。
　　 本文對(duì)過(guò)濾場(chǎng)景下XML的關(guān)鍵字過(guò)濾技術(shù)進(jìn)行了系統(tǒng)的研究，定義概率XML中的SLCA結(jié)