基于XML的Web數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)清洗技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，因特網(wǎng)大大地改變著人類的生活方式和商業(yè)模式，Web資源浩瀚如海而且廉價(jià)，使得越來(lái)越多的公司、機(jī)構(gòu)以及組織希望從中挖掘出有價(jià)值的商用信息以應(yīng)用于決策支持。然而數(shù)據(jù)挖掘、數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)源往往來(lái)自于結(jié)構(gòu)化的數(shù)據(jù)，如關(guān)系數(shù)據(jù)庫(kù)等，數(shù)據(jù)需求的迫切與數(shù)據(jù)格式定義的不一致性，使得將Web信息轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)，并對(duì)轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行處理，為決策支持提供高質(zhì)量的數(shù)據(jù)顯得尤其重要。 本文主要對(duì)Web數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)清洗技術(shù)進(jìn)

2、行了深入的學(xué)習(xí)和探討，并利用數(shù)據(jù)清洗技術(shù)解決存儲(chǔ)過(guò)程中因Web信息重復(fù)產(chǎn)生的數(shù)據(jù)冗余問(wèn)題，本文主要的工作內(nèi)容如下： 1.在介紹XML和分析Web信息顯示特點(diǎn)的基礎(chǔ)上，探討了XML作為Web信息與關(guān)系數(shù)據(jù)庫(kù)轉(zhuǎn)換中介的優(yōu)勢(shì)，在對(duì)XML與關(guān)系數(shù)據(jù)庫(kù)相互映射規(guī)則研究的基礎(chǔ)之上，構(gòu)造了一個(gè)以XML為轉(zhuǎn)換中介將Web數(shù)據(jù)存儲(chǔ)到關(guān)系數(shù)據(jù)庫(kù)，并將數(shù)據(jù)清洗技術(shù)應(yīng)用于數(shù)據(jù)庫(kù)的重復(fù)記錄清洗的模型框架，同時(shí)將該模型框架應(yīng)用于Web教學(xué)資源信息的存儲(chǔ)與清

3、洗，來(lái)驗(yàn)證其有效性和實(shí)用性。 2.深入學(xué)習(xí)和探討了相似重復(fù)記錄檢測(cè)中的字段匹配算法，如基本字段匹配算法、Smith-Waterman(S-W)算法以及基于編輯距離的字段匹配算法。在分析字段匹配算法對(duì)于中文字段匹配的不足和重復(fù)字段特征的基礎(chǔ)上，提出了基于字段關(guān)鍵字匹配優(yōu)化方案，使得相似重復(fù)記錄的召回率R(Recall)和查準(zhǔn)率P(Precision)都能得到較好的滿足。 3.由于本文提出了基于字段關(guān)鍵字匹配的算法改進(jìn)，所以