基于DBSCAN算法的相似重復(fù)記錄檢測(cè)方法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，決策人員在進(jìn)行決策分析時(shí)對(duì)各方面信息和數(shù)據(jù)的依賴(lài)性越來(lái)越強(qiáng)，于是在數(shù)據(jù)庫(kù)的基礎(chǔ)上產(chǎn)生了滿(mǎn)足決策分析所需要的數(shù)據(jù)環(huán)境－數(shù)據(jù)倉(cāng)庫(kù)。在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，其數(shù)據(jù)源是以異構(gòu)形態(tài)分布的，這就使得導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存在問(wèn)題，致使應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)前端的決策支持系統(tǒng)的分析結(jié)果受到影響，從而影響決策支持系統(tǒng)的服務(wù)的質(zhì)量。因此，企業(yè)數(shù)據(jù)質(zhì)量管理正在獲得越來(lái)越多的關(guān)注，數(shù)據(jù)清洗也正在成為數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘乃至網(wǎng)絡(luò)數(shù)據(jù)處理的一個(gè)重要課題

2、，而相似重復(fù)記錄的檢測(cè)是完成數(shù)據(jù)清洗的關(guān)鍵。 本文首先對(duì)數(shù)據(jù)清洗的知識(shí)進(jìn)行了全面闡述，介紹了數(shù)據(jù)清洗的概念、意義和國(guó)內(nèi)外研究現(xiàn)狀，并對(duì)數(shù)據(jù)清洗技術(shù)的原理、方法、評(píng)價(jià)標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析和總結(jié)。在此基礎(chǔ)上，論文詳細(xì)討論了相似重復(fù)記錄檢測(cè)所用到的相關(guān)知識(shí)和基本算法，對(duì)字段匹配和記錄的相似性進(jìn)行了深入的研究，并針對(duì)各步中存在的問(wèn)題進(jìn)行了改進(jìn)，相似重復(fù)記錄檢測(cè)過(guò)程中，應(yīng)用DBSCAN聚類(lèi)算法對(duì)數(shù)據(jù)集中的記錄進(jìn)行聚類(lèi)，DBSCAN具

3、有聚類(lèi)快，抗噪聲能力強(qiáng)，能夠發(fā)現(xiàn)任意形狀簇的優(yōu)勢(shì)，但在對(duì)記錄中的字符型變量轉(zhuǎn)換為空間中的向量坐標(biāo)時(shí)，用到了字符的ASCⅡ碼，這樣就會(huì)把本來(lái)不重復(fù)的記錄歸為一類(lèi)，而且該聚類(lèi)的特點(diǎn)，是根據(jù)區(qū)域的連通性來(lái)逐漸聚類(lèi)，所以也會(huì)把一些記錄區(qū)別比較大的記錄也聚在同一個(gè)類(lèi)中，在這種情形下采用pair-wise比較算法對(duì)聚類(lèi)之后的每個(gè)類(lèi)中的記錄進(jìn)行一次記錄比較，以便更加準(zhǔn)確的發(fā)現(xiàn)相似重復(fù)記錄。 用DBSCAN聚類(lèi)算法和pair-wise算法(稱(chēng)為