相似重復記錄的數據清洗技術的研究.pdf

1、隨著網絡技術的不斷發(fā)展和數據存儲技術的廣泛應用，每天都有大量的數據產生。在這大量的數據中，存在著許許多多的錯誤數據，尤其是在數據庫合并過程中，產生了大量的相似重復數據，嚴重影響著數據質量和數據使用率。對相似重復數據的數據清洗任務已經成為各大企業(yè)亟待解決的問題，對提高數據質量有著很大的現實意義。
　　本文主要研究相似重復記錄的數據清洗技術，首先對相似重復記錄的屬性結構以及產生原因進行分析，進而采用N-Gram算法，對數據記錄進行計算

2、，從而得到能夠代表每條記錄屬性的鍵值--N-Gram值。然后運用排列合并的清洗思想，根據得到的鍵值，對數據庫中的數據記錄進行排序處理，得到有序的數據庫，然后對其進行相似度計算。為了提高相似度匹配的準確率和效率，利用滑動窗口的算法思想，給待清洗數據一個固定大小的窗口，對窗口內的數據記錄，通過遞歸的字段匹配算法，來計算數據記錄之間的相似度，不僅能夠有效地識別出字段缺失、順序顛倒和名詞縮寫的相似重復記錄，提高數據清洗的準確性，還能夠減少數據記