重復(fù)和不完整數(shù)據(jù)的清理方法研究及應(yīng)用.pdf

1、隨著信息化產(chǎn)業(yè)的不斷推進(jìn)，企業(yè)積累的數(shù)據(jù)越來越多，激增的數(shù)據(jù)背后隱藏著重要信息，對企業(yè)作出正確、科學(xué)的決策，提高競爭力是至關(guān)重要的。為滿足決策分析的需要，數(shù)據(jù)倉庫應(yīng)運而生。在數(shù)據(jù)倉庫構(gòu)建過程中，由于各種原因，數(shù)據(jù)倉庫中含有重復(fù)的、不完整的以及異常的數(shù)據(jù)，即數(shù)據(jù)存在質(zhì)量問題。高質(zhì)量的數(shù)據(jù)是決策支持的前提條件，因此，為提高數(shù)據(jù)質(zhì)量，對數(shù)據(jù)進(jìn)行清理是非常必要的。
　　 本文先論述了數(shù)據(jù)預(yù)處理的相關(guān)知識，分析了數(shù)據(jù)清理的必要性以及國內(nèi)外

2、研究現(xiàn)狀，并介紹了數(shù)據(jù)質(zhì)量和數(shù)據(jù)清理的相關(guān)理論，闡述了數(shù)據(jù)清理的定義、原理與基本流程及相關(guān)清理技術(shù)。重點對相似重復(fù)記錄檢測及不完整數(shù)據(jù)清理方法做了深入研究，對相關(guān)算法進(jìn)行了改進(jìn)，并在此基礎(chǔ)上設(shè)計了一個數(shù)據(jù)清理原型系統(tǒng)。本文主要工作如下：
　　 (1)在重復(fù)記錄清理中，提出一種基于內(nèi)碼序值聚類的相似重復(fù)記錄檢測方法。該方法先選擇關(guān)鍵字段或字段某些位，根據(jù)字符的內(nèi)碼序值，利用聚類思想將大數(shù)據(jù)集聚集成多個小數(shù)據(jù)集；再根據(jù)等級法計算各字

3、段的權(quán)值，在各個小數(shù)據(jù)集中檢測和消除相似重復(fù)記錄。為避免關(guān)鍵字選擇不當(dāng)而造成記錄漏查問題，采用多趟檢測方法。實驗表明該方法具有較好的檢測精度和時間效率。
　　 (2)在不完整數(shù)據(jù)清理中，提出一種基于小波聚類加權(quán)1-NN的不完整數(shù)據(jù)清理方法。首先將數(shù)據(jù)集分成完整記錄集和不完整記錄集，然后對完整記錄集利用小波聚類算法進(jìn)行聚類，形成不同的子類，再判斷不完整記錄集中記錄的可用性，利用加權(quán)1-NN方法找到不完整記錄的最近鄰子類，最后填充不