基于DBSCAN算法的相似重復(fù)記錄檢測方法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，決策人員在進(jìn)行決策分析時(shí)對各方面信息和數(shù)據(jù)的依賴性越來越強(qiáng)，于是在數(shù)據(jù)庫的基礎(chǔ)上產(chǎn)生了滿足決策分析所需要的數(shù)據(jù)環(huán)境－數(shù)據(jù)倉庫。在構(gòu)建數(shù)據(jù)倉庫的過程中，其數(shù)據(jù)源是以異構(gòu)形態(tài)分布的，這就使得導(dǎo)入數(shù)據(jù)倉庫的數(shù)據(jù)存在問題，致使應(yīng)用于數(shù)據(jù)倉庫前端的決策支持系統(tǒng)的分析結(jié)果受到影響，從而影響決策支持系統(tǒng)的服務(wù)的質(zhì)量。因此，企業(yè)數(shù)據(jù)質(zhì)量管理正在獲得越來越多的關(guān)注，數(shù)據(jù)清洗也正在成為數(shù)據(jù)倉庫和數(shù)據(jù)挖掘乃至網(wǎng)絡(luò)數(shù)據(jù)處理的一個(gè)重要課題

2、，而相似重復(fù)記錄的檢測是完成數(shù)據(jù)清洗的關(guān)鍵。 本文首先對數(shù)據(jù)清洗的知識進(jìn)行了全面闡述，介紹了數(shù)據(jù)清洗的概念、意義和國內(nèi)外研究現(xiàn)狀，并對數(shù)據(jù)清洗技術(shù)的原理、方法、評價(jià)標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析和總結(jié)。在此基礎(chǔ)上，論文詳細(xì)討論了相似重復(fù)記錄檢測所用到的相關(guān)知識和基本算法，對字段匹配和記錄的相似性進(jìn)行了深入的研究，并針對各步中存在的問題進(jìn)行了改進(jìn)，相似重復(fù)記錄檢測過程中，應(yīng)用DBSCAN聚類算法對數(shù)據(jù)集中的記錄進(jìn)行聚類，DBSCAN具

3、有聚類快，抗噪聲能力強(qiáng)，能夠發(fā)現(xiàn)任意形狀簇的優(yōu)勢，但在對記錄中的字符型變量轉(zhuǎn)換為空間中的向量坐標(biāo)時(shí)，用到了字符的ASCⅡ碼，這樣就會把本來不重復(fù)的記錄歸為一類，而且該聚類的特點(diǎn)，是根據(jù)區(qū)域的連通性來逐漸聚類，所以也會把一些記錄區(qū)別比較大的記錄也聚在同一個(gè)類中，在這種情形下采用pair-wise比較算法對聚類之后的每個(gè)類中的記錄進(jìn)行一次記錄比較，以便更加準(zhǔn)確的發(fā)現(xiàn)相似重復(fù)記錄。 用DBSCAN聚類算法和pair-wise算法(稱為