數(shù)據(jù)挖掘中的重復(fù)記錄檢測算法研究.pdf

1、隨著信息化的高速發(fā)展和客觀上硬件技術(shù)的有效支撐，使得數(shù)據(jù)集中的海量數(shù)據(jù)不免存在冗余、缺失、不確定數(shù)據(jù)和不一致數(shù)據(jù)等諸多情況，這些統(tǒng)稱為“臟數(shù)據(jù)”。人們需要從數(shù)據(jù)集中獲取真實可靠的數(shù)據(jù)就必須進(jìn)行數(shù)據(jù)清洗。而重復(fù)記錄檢測是數(shù)據(jù)清洗領(lǐng)域中的研究熱點。本文首先介紹了數(shù)據(jù)倉庫、數(shù)據(jù)清洗以及重復(fù)記錄檢測的相關(guān)知識，包括數(shù)據(jù)清洗的原理、方法、基本流程和工具以及重復(fù)記錄檢測匹配算法和重復(fù)記錄檢測清除算法。在此基礎(chǔ)上，本文提出了三個改進(jìn)算法。分別是基于傳

2、遞閉包的重復(fù)記錄檢測算法，基于屬性分析的重復(fù)記錄檢測算法和基于完全子圖的重復(fù)記錄檢測算法。基于傳遞閉包的重復(fù)記錄檢測算法在SNM算法的基礎(chǔ)上提出了三個方面的改進(jìn)，分別是在排序步驟進(jìn)行多趟排序，引入判斷機(jī)制和引入特定權(quán)值和有效權(quán)值?；趯傩苑治龅闹貜?fù)記錄檢測算法是在基于傳遞閉包的重復(fù)記錄檢測算法的基礎(chǔ)上，提出兩個方面的改進(jìn)，通過屬性分析，并引入過濾機(jī)制。在保證正確率的同時，有效的提高了算法的效率，減少算法的運(yùn)行時間?；谕耆訄D的重復(fù)記錄