基于XML的Web數(shù)據(jù)存儲與數(shù)據(jù)清洗技術(shù)研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，因特網(wǎng)大大地改變著人類的生活方式和商業(yè)模式，Web資源浩瀚如海而且廉價，使得越來越多的公司、機構(gòu)以及組織希望從中挖掘出有價值的商用信息以應用于決策支持。然而數(shù)據(jù)挖掘、數(shù)據(jù)倉庫的數(shù)據(jù)源往往來自于結(jié)構(gòu)化的數(shù)據(jù)，如關(guān)系數(shù)據(jù)庫等，數(shù)據(jù)需求的迫切與數(shù)據(jù)格式定義的不一致性，使得將Web信息轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫的數(shù)據(jù)，并對轉(zhuǎn)換后的數(shù)據(jù)進行處理，為決策支持提供高質(zhì)量的數(shù)據(jù)顯得尤其重要。 本文主要對Web數(shù)據(jù)存儲和數(shù)據(jù)清洗技術(shù)進

2、行了深入的學習和探討，并利用數(shù)據(jù)清洗技術(shù)解決存儲過程中因Web信息重復產(chǎn)生的數(shù)據(jù)冗余問題，本文主要的工作內(nèi)容如下： 1.在介紹XML和分析Web信息顯示特點的基礎上，探討了XML作為Web信息與關(guān)系數(shù)據(jù)庫轉(zhuǎn)換中介的優(yōu)勢，在對XML與關(guān)系數(shù)據(jù)庫相互映射規(guī)則研究的基礎之上，構(gòu)造了一個以XML為轉(zhuǎn)換中介將Web數(shù)據(jù)存儲到關(guān)系數(shù)據(jù)庫，并將數(shù)據(jù)清洗技術(shù)應用于數(shù)據(jù)庫的重復記錄清洗的模型框架，同時將該模型框架應用于Web教學資源信息的存儲與清

3、洗，來驗證其有效性和實用性。 2.深入學習和探討了相似重復記錄檢測中的字段匹配算法，如基本字段匹配算法、Smith-Waterman(S-W)算法以及基于編輯距離的字段匹配算法。在分析字段匹配算法對于中文字段匹配的不足和重復字段特征的基礎上，提出了基于字段關(guān)鍵字匹配優(yōu)化方案，使得相似重復記錄的召回率R(Recall)和查準率P(Precision)都能得到較好的滿足。 3.由于本文提出了基于字段關(guān)鍵字匹配的算法改進，所以