XML數(shù)據(jù)智能管理若干關(guān)鍵技術(shù)研究.pdf

1、隨著海量XML數(shù)據(jù)的涌現(xiàn)與傳遞，XML已成為互聯(lián)網(wǎng)上信息表示和數(shù)據(jù)交換的一個(gè)重要標(biāo)準(zhǔn)，繼而產(chǎn)生了對(duì)XML數(shù)據(jù)管理的需求，如何有效地表示、查詢與挖掘這些XML數(shù)據(jù)已經(jīng)成為當(dāng)前XML數(shù)據(jù)管理領(lǐng)域遇到的一個(gè)重要挑戰(zhàn)。 針對(duì)目前XML數(shù)據(jù)管理研究現(xiàn)狀中存在的問題與不足，本文研究了XML數(shù)據(jù)模型、群體智能、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)挖掘與智能計(jì)算等原理與方法，在原型系統(tǒng)XBASE上提出了一系列基于XML鍵的數(shù)據(jù)清洗、查詢、數(shù)據(jù)挖掘等新的智能

2、管理方法，同時(shí)探討了XML重構(gòu)的有效途徑等問題。 本文圍繞XML數(shù)據(jù)的查詢與數(shù)據(jù)挖掘等智能管理問題展開研究，研究內(nèi)容和取得的成果主要體現(xiàn)在以下四方面： 1.XML數(shù)據(jù)管理框架-XPDM的建立 現(xiàn)有的XML數(shù)據(jù)模型存在著四個(gè)問題影響了XML數(shù)據(jù)的有效管理，即：(1)數(shù)據(jù)的異構(gòu)：給多數(shù)據(jù)源集成帶來許多困難，影響了信息查詢的有效性；(2)數(shù)據(jù)的非一致性：由于數(shù)據(jù)約束的不完整性，常導(dǎo)致數(shù)據(jù)前后不一致，影響數(shù)據(jù)查詢的準(zhǔn)確性

3、；(3)多數(shù)據(jù)源之間數(shù)據(jù)依賴關(guān)系的不確定性：影響數(shù)據(jù)之間的歸并與查詢；(4)語義標(biāo)準(zhǔn)的規(guī)范：由于XML正處于發(fā)展之中，許多規(guī)范還不完善，往往導(dǎo)致了查詢語句的繁瑣與混亂。 針對(duì)以上問題，本文提出了一種以XML鍵構(gòu)建的向量空間模型為基礎(chǔ)、利用概率理論進(jìn)行操作的海量XML數(shù)據(jù)管理框架-XPDM。該框架通過對(duì)XQuery1.0和XPath2.0數(shù)據(jù)模型XDM進(jìn)行語義規(guī)范新擴(kuò)充及XML數(shù)據(jù)矢量轉(zhuǎn)換，較好地解決了以上四個(gè)問題。 2.

4、數(shù)據(jù)智能清洗與查詢策略 為了解決XML文檔中的“臟數(shù)據(jù)”問題，通過引入XML鍵組合及XML向量模型，利用貝葉斯學(xué)習(xí)方法與馬爾可夫鏈概率轉(zhuǎn)移策略建立XML數(shù)據(jù)清洗過程的元數(shù)據(jù)模型，利用XML樹相似性判定算法，提出了一種智能清洗XML數(shù)據(jù)的新方法，通過相應(yīng)規(guī)則庫的預(yù)定義完成XML數(shù)據(jù)的清洗；另外為了解決XML數(shù)據(jù)清洗檢測繁鎖及靈活性差的問題，提出了通過合理組合XML鍵、融入粒子群算法、結(jié)合隱馬爾可夫模型信息抽取策略構(gòu)建XML數(shù)據(jù)清洗

5、優(yōu)化算法；為了提高XML數(shù)據(jù)查詢的智能性與有效性，通過采用啟發(fā)式方法，結(jié)合XML半結(jié)構(gòu)化的特點(diǎn)，將粒子算法與蟻群算法融入到海量XML數(shù)據(jù)概率查詢上，并進(jìn)行相應(yīng)改進(jìn)，實(shí)現(xiàn)了數(shù)據(jù)查詢范圍的并行處理能力與收斂效率的提高。 3.XML數(shù)據(jù)智能挖掘策略 互聯(lián)網(wǎng)上已聚集了海量的XML數(shù)據(jù)，為了有效地對(duì)XML數(shù)據(jù)進(jìn)行挖掘，本文從以下幾個(gè)方面進(jìn)行研究： (1)為了提高海量XML文檔集的聚類質(zhì)量，分別以粒子群算法與矩陣迭代自組織算

6、法為基礎(chǔ)，提出了基于粒子群的XML自適應(yīng)混沌聚類算法和基于向量空間模型的矩陣迭代自組織XML輔助聚類算法； (2)為了提高海量XML文檔集的并行處理能力，根據(jù)混沌原理，融入蟻群聚類算法，通過定義相應(yīng)混沌適應(yīng)度函數(shù)衡量螞蟻與其鄰域的相似程度，提出了一種基于混沌原理與蟻群聚類模型的XML分片算法； (3)針對(duì)XML數(shù)據(jù)的流動(dòng)性和無限性等特點(diǎn)及質(zhì)量檢測存在的不足，提出構(gòu)建XML鍵的矢量矩陣作為窗口，利用矢量積小波變換多級(jí)分解與

7、重構(gòu)，再結(jié)合最小二乘支持向量機(jī)構(gòu)建雙滑動(dòng)窗口進(jìn)行XML數(shù)據(jù)自適應(yīng)監(jiān)測算法，滿足對(duì)XML數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)傳遞的質(zhì)量管理要求。 4.XML智能重構(gòu)策略 為了更好地優(yōu)化XML的語義規(guī)范，解決隨著用戶需求的變化以及時(shí)間的推移、XML數(shù)據(jù)結(jié)構(gòu)也會(huì)發(fā)生變化這一問題，對(duì)XML重構(gòu)進(jìn)行了探測性研究。在XML文檔片段重構(gòu)的基礎(chǔ)上，利用XML語義約束關(guān)系及XML路徑層次性，再結(jié)合向量機(jī)原理與頻繁模式的特點(diǎn)，提出了XML頻繁模式樹XFP-tree