基于規(guī)則的信息系統(tǒng)環(huán)境下重復記錄清理的實現(xiàn).pdf

1、重復記錄清理作為保證數(shù)據(jù)質量的手段之一，一直以來也是數(shù)據(jù)清理(Data Cleansing)的重要環(huán)節(jié)。通常情況下，隨著數(shù)據(jù)在數(shù)據(jù)庫中不斷的積累，由于各種各樣的原因，會產生大量的重復記錄，而其中大量重復的基礎數(shù)據(jù)對數(shù)據(jù)質量和數(shù)據(jù)使用效果影響最為嚴重，根據(jù)“進去的是垃圾，出來的也是垃圾”這條原理，數(shù)據(jù)質量的好壞不但影響了業(yè)務數(shù)據(jù)的質量而且影響系統(tǒng)的服務效率。然而絕大多數(shù)關于數(shù)據(jù)清理的研究集中在數(shù)據(jù)清理方法和數(shù)據(jù)識別算法上，而忽視了數(shù)據(jù)的業(yè)

2、務相關性。
　　 對于企業(yè)信息系統(tǒng)集成環(huán)境下重復記錄的清理，本文結合傳統(tǒng)的數(shù)據(jù)清理方法提出了基于規(guī)則的數(shù)據(jù)庫重復記錄清理的方法。著重介紹了如何定義和使用字段模式規(guī)則和重復記錄清理規(guī)則。在字段模式規(guī)則中介紹了如何通過字段模式糾正數(shù)據(jù)表中異常的字段值；在重復記錄清理規(guī)則中介紹了如何使用匹配規(guī)則、業(yè)務規(guī)則和規(guī)則矩陣識別重復記錄，針對企業(yè)信息應用系統(tǒng)中包含大量復雜的業(yè)務流程，首先通過匹配規(guī)則得到包含有重復記錄的重復記錄組；再通過特定領域

3、的業(yè)務規(guī)則的運用從重復記錄組中匹配得到一個符合業(yè)務規(guī)則條件的記錄，稱為“目標記錄”。而重復記錄組中的其他記錄則被稱為“臟記錄”，“目標記錄”將用于取代數(shù)據(jù)庫中的“臟記錄”；最后通過匹配規(guī)則和業(yè)務規(guī)則組成的二維矩陣判斷所得到的重復記錄組的可靠性，可靠性較高的重復記錄組可以直接進入重復記錄清理過程，而可靠性較低的重復記錄組需要人工檢查來保證重復記錄清理的安全。
　　 在記錄清理規(guī)則匹配得到重復記錄組的基礎本文介紹了如何在數(shù)據(jù)庫中根據(jù)

4、數(shù)據(jù)表的二維屬性特征，通過橫向的表間清理把相關表中的“臟記錄”用“目標記錄”取代；通過縱向的表內清理在待清理記錄對象表中合并和刪除重復記錄組中的“臟記錄”。在信息系統(tǒng)中清除重復記錄包含一定的危險性，因此對所清理的重復記錄和相關業(yè)務記錄需要完全備份，本文介紹了如何備份重復記錄清理過程中所處理的各種記錄。
　　 由于企業(yè)信息系統(tǒng)同包含有多個應用，為了保證數(shù)據(jù)在各個應用系統(tǒng)的一致，使用了基于消息集成總線的重復記錄清理集成模式，通過系統(tǒng)

5、集成在企業(yè)應用系統(tǒng)之間進行記錄清理，保證應用系統(tǒng)之間數(shù)據(jù)記錄的一致性和完整性，并且通過快速的集成開發(fā)把記錄清理引入到新應用系統(tǒng)中。
　　 結合上述方法的研究和當前企業(yè)的IT基礎架構，本文提出了一種在當前信息系統(tǒng)集成環(huán)境下基于規(guī)則的重復記錄清理框架，它充分利用了數(shù)據(jù)庫現(xiàn)有的技術手段和工具，并集成了所開發(fā)的規(guī)則庫、異常字段清理模塊、重復記錄匹配模塊、數(shù)據(jù)合并模塊和數(shù)據(jù)集成發(fā)布模塊。在此框架上可以完成規(guī)則庫的定義、異常字段清理、重復記