基于聚類模式的數(shù)據(jù)清洗技術(shù).pdf

1、為了高額利潤,許多公司正在大量地使用網(wǎng)上的廉價信息。這導致公司的數(shù)據(jù)量日趨增大。因此,從巨量的數(shù)據(jù)集中快速地找出感興趣的模式已成為一個緊迫的任務。數(shù)據(jù)挖掘為解決這一問題提供了許多有效的算法和技術(shù)。然而,這些技術(shù)是建立在正確的、相關(guān)的和無沖突的數(shù)據(jù)這個假設之上。因為現(xiàn)實生活中的數(shù)據(jù)通常是骯臟的,這些技術(shù)離實際應用還有一段很長的距離。所以,數(shù)據(jù)清洗是數(shù)據(jù)挖掘中的不可少的關(guān)鍵步驟。它直接關(guān)系到獲取的知識的質(zhì)量和數(shù)據(jù)挖掘算法的效率。數(shù)據(jù)清洗的研

2、究一般可粗略地分為兩個部分:⑴糾正數(shù)據(jù)的錯誤。⑵把多個數(shù)據(jù)源整合以獲得實時對象更為完整的信息。其中數(shù)據(jù)源整合在很多相關(guān)領(lǐng)域都是一個重要的處理步驟。任何大型實時數(shù)據(jù)集在整合過程中,數(shù)據(jù)的質(zhì)量、正確度、一致性、完備性和可信度都是數(shù)據(jù)整合好壞的關(guān)鍵。遺憾的是,數(shù)據(jù)的輸入和獲取經(jīng)常傾向于含有或多或少的錯誤。
　　總結(jié)起來,整合過程中出現(xiàn)的數(shù)據(jù)異常主要是由以下幾個方面引起:
　?、艛?shù)據(jù)庫之間缺乏統(tǒng)一的標志。即表示同一對象的數(shù)據(jù)庫記錄的

3、id不唯一,這就是所謂的對象識別問題。
　?、撇煌M織采用不同的格式表示數(shù)據(jù),這對數(shù)據(jù)的整合也造成一定的困難。
　?、禽斎氪罅康臄?shù)據(jù)時,總會或多或少出現(xiàn)一些錯誤。
　?、却嬖诓灰恢碌臄?shù)據(jù)。合并多個數(shù)據(jù)源后,由于各種數(shù)據(jù)源表示模式,表示慣例并不相同,再加上一些輸入錯誤、不一致的縮寫等其他因素,使得合并后的數(shù)據(jù)存在不同描述但卻表示同一實體的情況,稱為復制記錄。基于數(shù)據(jù)的一致性原則,所有數(shù)據(jù)源都不允許出現(xiàn)復制記錄,我們必須檢

4、測出復制記錄,并刪除它。本文首先闡述了數(shù)據(jù)清洗在多個領(lǐng)域的重要作用,介紹了目前國內(nèi)外數(shù)據(jù)清洗領(lǐng)域的研究狀況,并指出現(xiàn)有技術(shù)存在的不足,針對這些不足之處,提出了自＜WP=6＞己的解決辦法,并通過實驗結(jié)果驗證了所提出算法的有效性和準確性。
　　本文的主要工作可以概括為以下幾個方面:⑴分析了當前數(shù)據(jù)清洗的研究現(xiàn)狀,指出了當前數(shù)據(jù)清洗系統(tǒng)存在的不足。當前的數(shù)據(jù)清洗系統(tǒng)都缺少預處理的操作,這增加了后面數(shù)據(jù)清洗的負擔。論文提出了一種利用外部源

5、文件擦除臟數(shù)據(jù)的方法,它能對一些簡單的數(shù)據(jù)錯誤和不一致現(xiàn)象進行處理,并設法避免了名稱縮寫不一致的情況,使得數(shù)據(jù)清洗的處理達到更好的效果,同時還提出了一個按照特定要求轉(zhuǎn)化成多個不同結(jié)構(gòu)數(shù)據(jù)庫方法的新思路。⑵采用針對大型數(shù)據(jù)的Canopy聚類技術(shù)對數(shù)據(jù)記錄進行匹配,并提出一種下調(diào)距離閾值方法,減少了需要精確計算的記錄對之間的計算量。公司在做數(shù)據(jù)分析和做出商業(yè)決策時都需要對多個信息源進行整合。在整合的過程中,我們必須識別出表示同一實體的不同描

6、述形式,以得到對象更為完整的信息。論文對此做了一些研究。⑶針對現(xiàn)有檢測復制記錄技術(shù)存在的不足,我們提出了利用Canopy聚類技術(shù)聚類復制記錄的方法。由于大型數(shù)據(jù)不可避免的會產(chǎn)生一些錯誤的、不一致的、遺漏屬性的數(shù)據(jù),整合過程不能完全識別相同的實體,這就導致了復制記錄的產(chǎn)生。而為了數(shù)據(jù)的一致性,我們必須檢測出這些復制記錄并刪除掉。我們提出的方法分為兩個階段進行,首先用倒排檢索方法得到一些大致的聚類,此階段避免了用鍵值表示記錄時,由于數(shù)據(jù)本身