相似重復(fù)記錄的數(shù)據(jù)清洗技術(shù)的研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和數(shù)據(jù)存儲(chǔ)技術(shù)的廣泛應(yīng)用，每天都有大量的數(shù)據(jù)產(chǎn)生。在這大量的數(shù)據(jù)中，存在著許許多多的錯(cuò)誤數(shù)據(jù)，尤其是在數(shù)據(jù)庫(kù)合并過(guò)程中，產(chǎn)生了大量的相似重復(fù)數(shù)據(jù)，嚴(yán)重影響著數(shù)據(jù)質(zhì)量和數(shù)據(jù)使用率。對(duì)相似重復(fù)數(shù)據(jù)的數(shù)據(jù)清洗任務(wù)已經(jīng)成為各大企業(yè)亟待解決的問(wèn)題，對(duì)提高數(shù)據(jù)質(zhì)量有著很大的現(xiàn)實(shí)意義。
　　本文主要研究相似重復(fù)記錄的數(shù)據(jù)清洗技術(shù)，首先對(duì)相似重復(fù)記錄的屬性結(jié)構(gòu)以及產(chǎn)生原因進(jìn)行分析，進(jìn)而采用N-Gram算法，對(duì)數(shù)據(jù)記錄進(jìn)行計(jì)算

2、，從而得到能夠代表每條記錄屬性的鍵值--N-Gram值。然后運(yùn)用排列合并的清洗思想，根據(jù)得到的鍵值，對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)記錄進(jìn)行排序處理，得到有序的數(shù)據(jù)庫(kù)，然后對(duì)其進(jìn)行相似度計(jì)算。為了提高相似度匹配的準(zhǔn)確率和效率，利用滑動(dòng)窗口的算法思想，給待清洗數(shù)據(jù)一個(gè)固定大小的窗口，對(duì)窗口內(nèi)的數(shù)據(jù)記錄，通過(guò)遞歸的字段匹配算法，來(lái)計(jì)算數(shù)據(jù)記錄之間的相似度，不僅能夠有效地識(shí)別出字段缺失、順序顛倒和名詞縮寫(xiě)的相似重復(fù)記錄，提高數(shù)據(jù)清洗的準(zhǔn)確性，還能夠減少數(shù)據(jù)記