基于CURE算法的相似重復(fù)記錄檢測(cè)技術(shù)研究.pdf

1、數(shù)據(jù)清洗在數(shù)據(jù)挖掘中占有越來(lái)越重要的地位，相似重復(fù)記錄的檢測(cè)是數(shù)據(jù)清洗的核心任務(wù)。對(duì)于語(yǔ)義重復(fù)記錄的檢測(cè)，至今沒(méi)有成熟的算法，本文首先利用本體在語(yǔ)義處理方面的優(yōu)勢(shì)，提出了一種基于本體的數(shù)據(jù)清洗系統(tǒng)，從理論上對(duì)語(yǔ)義重復(fù)記錄檢測(cè)進(jìn)行嘗試。 由于傳統(tǒng)相似重復(fù)記錄檢測(cè)算法在處理簇形狀不均勻、相似重復(fù)記錄分布較復(fù)雜的大數(shù)據(jù)集時(shí)準(zhǔn)確性不高，本文重點(diǎn)提出利用CURE算法效率較高，可以處理任意形狀的簇，對(duì)于孤立點(diǎn)數(shù)據(jù)不敏感的優(yōu)點(diǎn)，將其用于相似重

2、復(fù)記錄的檢測(cè)并對(duì)CURE算法進(jìn)行改進(jìn)。提出了預(yù)抽樣(pre-sampling)概念，可以有效地確定數(shù)據(jù)集中相似重復(fù)記錄的分布情況，提高隨機(jī)抽樣的準(zhǔn)確性。并針對(duì)CURE算法選取代表點(diǎn)的不足，提出了一種基于距離影響因子的代表點(diǎn)選取方法，較好地反映了簇的形狀，提高了代表點(diǎn)選取的合理性。 最后，利用改進(jìn)算法構(gòu)建了相似重復(fù)記錄檢測(cè)模型CIMDR，詳細(xì)分析了模型的運(yùn)行過(guò)程。理論和實(shí)驗(yàn)表明，與傳統(tǒng)算法相比，改進(jìn)算法在相似重復(fù)記錄檢測(cè)方面的準(zhǔn)確