數(shù)據(jù)清理關(guān)鍵技術(shù)及其軟件平臺的研究與應(yīng)用.pdf

1、為了更好地發(fā)揮信息化的作用,必須提高信息系統(tǒng)的數(shù)據(jù)質(zhì)量.顯見,研究信息化建設(shè)中的數(shù)據(jù)清理問題具有理論和應(yīng)用價值.針對這一課題,論文包括如下幾個方面的研究工作:論述了數(shù)據(jù)清理研究的重要性和緊迫性,分析了數(shù)據(jù)清理的研究現(xiàn)狀,指出了目前數(shù)據(jù)清理研究中所存在的問題.從數(shù)據(jù)質(zhì)量的三個重要因素出發(fā),研究了單數(shù)據(jù)源中數(shù)據(jù)清理的關(guān)鍵技術(shù),包括:相似重復(fù)記錄清理、不完整數(shù)據(jù)清理、錯誤數(shù)據(jù)清理.對于相似重復(fù)記錄的清理,給出了一種綜合的清理方法.為了提高該方

2、法的檢測精度和檢測效率,從兩個方面對該方法的關(guān)鍵環(huán)節(jié)進(jìn)行了改進(jìn):第一個改進(jìn)是在相似重復(fù)記錄檢測中,根據(jù)具體的業(yè)務(wù)系統(tǒng),采用等級法為記錄各字段指定合適的權(quán)重,從而提高了相似重復(fù)記錄的檢測精度;第二個改進(jìn)是提出了一種提高相似重復(fù)記錄檢測效率的方法,該方法采用長度過濾方法優(yōu)化相似檢測算法,避免了不必要的編輯距離計算,從而提高了相似重復(fù)記錄的檢測效率.此外,構(gòu)造了合適的實驗環(huán)境,做了大量的檢測實驗,翔實的實驗結(jié)果驗證了長度過濾方法的科學(xué)性及有效

3、性.對于不完整數(shù)據(jù)的清理,提出了一種清理方案,該方案首先分析數(shù)據(jù)的可用性;然后刪除不可用記錄;最后,對可用記錄通過選用合適的方法來處理該記錄的丟失值,從而完成數(shù)據(jù)源中不完整數(shù)據(jù)的清理.針對數(shù)據(jù)源中出現(xiàn)的錯誤數(shù)據(jù),研究了如何采用孤立點檢測和業(yè)務(wù)規(guī)則這兩種方法來檢測這些錯誤數(shù)據(jù),多種檢測方法大大提高了錯誤數(shù)據(jù)清理的綜合效果.在研究了單數(shù)據(jù)源數(shù)據(jù)清理的基礎(chǔ)上,又研究了多數(shù)據(jù)源集成中的數(shù)據(jù)清理問題,主要內(nèi)容有:研究了多數(shù)據(jù)源集成中數(shù)據(jù)標(biāo)準(zhǔn)化的方

4、法;結(jié)合相似重復(fù)記錄清理的研究,給出了一種相似重復(fù)實體檢測方法,有效地解決了多數(shù)據(jù)源集成中相似重復(fù)實體的清理問題;提出了一種交互式數(shù)據(jù)遷移方法,該方法把數(shù)據(jù)遷移和數(shù)據(jù)清理緊密地結(jié)合在一起,不僅可靈活、準(zhǔn)確地完成多數(shù)據(jù)源集成中的數(shù)據(jù)遷移,還可保證數(shù)據(jù)遷移后新系統(tǒng)的數(shù)據(jù)質(zhì)量.在結(jié)構(gòu)化數(shù)據(jù)清理研究的基礎(chǔ)上,針對半結(jié)構(gòu)化數(shù)據(jù)XML在數(shù)據(jù)清理中的重要性,提出了一種有效的XML相似重復(fù)數(shù)據(jù)清理方法,并給出了一種優(yōu)化的基于樹編輯距離的XML相似檢測算

5、法,該算法能有效地檢測XML相似重復(fù)數(shù)據(jù).從而為研究XML相似重復(fù)數(shù)據(jù)清理打下了基礎(chǔ).在數(shù)據(jù)清理工具的研制上,提出了一種可擴(kuò)展的數(shù)據(jù)清理軟件平臺,該軟件平臺具有開放的規(guī)則庫和算法庫,算法庫中包含多種算法,并可對其擴(kuò)展;通過在規(guī)則庫中定義清理規(guī)則以及從算法庫中選擇合適的清理算法,可使該軟件平臺適用于不同的數(shù)據(jù)源,從而使其具有較強(qiáng)的通用性和適應(yīng)性;通過多種算法的清理,提高了數(shù)據(jù)清理的綜合效果.最后,實現(xiàn)了該軟件平臺的關(guān)鍵技術(shù),并將它應(yīng)用于制