數(shù)據(jù)挖掘中的重復(fù)記錄檢測(cè)算法研究.pdf

1、隨著信息化的高速發(fā)展和客觀上硬件技術(shù)的有效支撐，使得數(shù)據(jù)集中的海量數(shù)據(jù)不免存在冗余、缺失、不確定數(shù)據(jù)和不一致數(shù)據(jù)等諸多情況，這些統(tǒng)稱為“臟數(shù)據(jù)”。人們需要從數(shù)據(jù)集中獲取真實(shí)可靠的數(shù)據(jù)就必須進(jìn)行數(shù)據(jù)清洗。而重復(fù)記錄檢測(cè)是數(shù)據(jù)清洗領(lǐng)域中的研究熱點(diǎn)。本文首先介紹了數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)清洗以及重復(fù)記錄檢測(cè)的相關(guān)知識(shí)，包括數(shù)據(jù)清洗的原理、方法、基本流程和工具以及重復(fù)記錄檢測(cè)匹配算法和重復(fù)記錄檢測(cè)清除算法。在此基礎(chǔ)上，本文提出了三個(gè)改進(jìn)算法。分別是基于傳

2、遞閉包的重復(fù)記錄檢測(cè)算法，基于屬性分析的重復(fù)記錄檢測(cè)算法和基于完全子圖的重復(fù)記錄檢測(cè)算法。基于傳遞閉包的重復(fù)記錄檢測(cè)算法在SNM算法的基礎(chǔ)上提出了三個(gè)方面的改進(jìn)，分別是在排序步驟進(jìn)行多趟排序，引入判斷機(jī)制和引入特定權(quán)值和有效權(quán)值?；趯傩苑治龅闹貜?fù)記錄檢測(cè)算法是在基于傳遞閉包的重復(fù)記錄檢測(cè)算法的基礎(chǔ)上，提出兩個(gè)方面的改進(jìn)，通過屬性分析，并引入過濾機(jī)制。在保證正確率的同時(shí)，有效的提高了算法的效率，減少算法的運(yùn)行時(shí)間?；谕耆訄D的重復(fù)記錄