數(shù)據(jù)清洗方法研究及工具設(shè)計.pdf

1、隨著信息技術(shù)發(fā)展和企業(yè)信息化建設(shè)的進行，企業(yè)自身積累了大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)對于企業(yè)非常珍貴，是企業(yè)了解自身經(jīng)營狀況及進行正確決策的基礎(chǔ)。由于用戶錄入錯誤、系統(tǒng)集成及企業(yè)環(huán)境變化等因素，都會影響到數(shù)據(jù)質(zhì)量。為此研究企業(yè)信息系統(tǒng)中數(shù)據(jù)清洗問題具有很強的理論性和實用性。
　　 論文通過對企業(yè)信息系統(tǒng)中存在的數(shù)據(jù)質(zhì)量問題及數(shù)據(jù)清洗方法的分析與研究，詳細論述了數(shù)據(jù)質(zhì)量的概念、問題種類及影響數(shù)據(jù)質(zhì)量的因素，并提出了自己對數(shù)據(jù)質(zhì)量的定義及

2、數(shù)據(jù)清洗的一般過程。
　　 在數(shù)據(jù)清洗方面，分析了當前對數(shù)據(jù)清洗方法的研究。提出了基于業(yè)務(wù)邏輯的數(shù)據(jù)清洗方法；在基本臨近排序算法的基礎(chǔ)上提出了改進的相似重復(fù)記錄匹配算法，對其中的關(guān)鍵步驟進行了改進，提高了相似重復(fù)記錄的匹配度和檢測效率。
　　 在通用數(shù)據(jù)清理工具的設(shè)計開發(fā)上，提出了一種通用可擴展的數(shù)據(jù)清洗工具平臺，文中詳細論述了該平臺的設(shè)計、開發(fā)和實現(xiàn)過程。通用可擴展數(shù)據(jù)清洗工具平臺具有開放的算法庫和規(guī)則庫，并可以進行擴