版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、為了高額利潤(rùn),許多公司正在大量地使用網(wǎng)上的廉價(jià)信息。這導(dǎo)致公司的數(shù)據(jù)量日趨增大。因此,從巨量的數(shù)據(jù)集中快速地找出感興趣的模式已成為一個(gè)緊迫的任務(wù)。數(shù)據(jù)挖掘?yàn)榻鉀Q這一問題提供了許多有效的算法和技術(shù)。然而,這些技術(shù)是建立在正確的、相關(guān)的和無(wú)沖突的數(shù)據(jù)這個(gè)假設(shè)之上。因?yàn)楝F(xiàn)實(shí)生活中的數(shù)據(jù)通常是骯臟的,這些技術(shù)離實(shí)際應(yīng)用還有一段很長(zhǎng)的距離。所以,數(shù)據(jù)清洗是數(shù)據(jù)挖掘中的不可少的關(guān)鍵步驟。它直接關(guān)系到獲取的知識(shí)的質(zhì)量和數(shù)據(jù)挖掘算法的效率。數(shù)據(jù)清洗的研
2、究一般可粗略地分為兩個(gè)部分:⑴糾正數(shù)據(jù)的錯(cuò)誤。⑵把多個(gè)數(shù)據(jù)源整合以獲得實(shí)時(shí)對(duì)象更為完整的信息。其中數(shù)據(jù)源整合在很多相關(guān)領(lǐng)域都是一個(gè)重要的處理步驟。任何大型實(shí)時(shí)數(shù)據(jù)集在整合過(guò)程中,數(shù)據(jù)的質(zhì)量、正確度、一致性、完備性和可信度都是數(shù)據(jù)整合好壞的關(guān)鍵。遺憾的是,數(shù)據(jù)的輸入和獲取經(jīng)常傾向于含有或多或少的錯(cuò)誤。
總結(jié)起來(lái),整合過(guò)程中出現(xiàn)的數(shù)據(jù)異常主要是由以下幾個(gè)方面引起:
?、艛?shù)據(jù)庫(kù)之間缺乏統(tǒng)一的標(biāo)志。即表示同一對(duì)象的數(shù)據(jù)庫(kù)記錄的
3、id不唯一,這就是所謂的對(duì)象識(shí)別問題。
⑵不同組織采用不同的格式表示數(shù)據(jù),這對(duì)數(shù)據(jù)的整合也造成一定的困難。
?、禽斎氪罅康臄?shù)據(jù)時(shí),總會(huì)或多或少出現(xiàn)一些錯(cuò)誤。
?、却嬖诓灰恢碌臄?shù)據(jù)。合并多個(gè)數(shù)據(jù)源后,由于各種數(shù)據(jù)源表示模式,表示慣例并不相同,再加上一些輸入錯(cuò)誤、不一致的縮寫等其他因素,使得合并后的數(shù)據(jù)存在不同描述但卻表示同一實(shí)體的情況,稱為復(fù)制記錄?;跀?shù)據(jù)的一致性原則,所有數(shù)據(jù)源都不允許出現(xiàn)復(fù)制記錄,我們必須檢
4、測(cè)出復(fù)制記錄,并刪除它。本文首先闡述了數(shù)據(jù)清洗在多個(gè)領(lǐng)域的重要作用,介紹了目前國(guó)內(nèi)外數(shù)據(jù)清洗領(lǐng)域的研究狀況,并指出現(xiàn)有技術(shù)存在的不足,針對(duì)這些不足之處,提出了自<WP=6>己的解決辦法,并通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出算法的有效性和準(zhǔn)確性。
本文的主要工作可以概括為以下幾個(gè)方面:⑴分析了當(dāng)前數(shù)據(jù)清洗的研究現(xiàn)狀,指出了當(dāng)前數(shù)據(jù)清洗系統(tǒng)存在的不足。當(dāng)前的數(shù)據(jù)清洗系統(tǒng)都缺少預(yù)處理的操作,這增加了后面數(shù)據(jù)清洗的負(fù)擔(dān)。論文提出了一種利用外部源
5、文件擦除臟數(shù)據(jù)的方法,它能對(duì)一些簡(jiǎn)單的數(shù)據(jù)錯(cuò)誤和不一致現(xiàn)象進(jìn)行處理,并設(shè)法避免了名稱縮寫不一致的情況,使得數(shù)據(jù)清洗的處理達(dá)到更好的效果,同時(shí)還提出了一個(gè)按照特定要求轉(zhuǎn)化成多個(gè)不同結(jié)構(gòu)數(shù)據(jù)庫(kù)方法的新思路。⑵采用針對(duì)大型數(shù)據(jù)的Canopy聚類技術(shù)對(duì)數(shù)據(jù)記錄進(jìn)行匹配,并提出一種下調(diào)距離閾值方法,減少了需要精確計(jì)算的記錄對(duì)之間的計(jì)算量。公司在做數(shù)據(jù)分析和做出商業(yè)決策時(shí)都需要對(duì)多個(gè)信息源進(jìn)行整合。在整合的過(guò)程中,我們必須識(shí)別出表示同一實(shí)體的不同描
6、述形式,以得到對(duì)象更為完整的信息。論文對(duì)此做了一些研究。⑶針對(duì)現(xiàn)有檢測(cè)復(fù)制記錄技術(shù)存在的不足,我們提出了利用Canopy聚類技術(shù)聚類復(fù)制記錄的方法。由于大型數(shù)據(jù)不可避免的會(huì)產(chǎn)生一些錯(cuò)誤的、不一致的、遺漏屬性的數(shù)據(jù),整合過(guò)程不能完全識(shí)別相同的實(shí)體,這就導(dǎo)致了復(fù)制記錄的產(chǎn)生。而為了數(shù)據(jù)的一致性,我們必須檢測(cè)出這些復(fù)制記錄并刪除掉。我們提出的方法分為兩個(gè)階段進(jìn)行,首先用倒排檢索方法得到一些大致的聚類,此階段避免了用鍵值表示記錄時(shí),由于數(shù)據(jù)本身
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于聚類的數(shù)據(jù)清洗算法的研究.pdf
- 基于聚類算法的數(shù)據(jù)清洗的研究與實(shí)現(xiàn).pdf
- 基于RFID數(shù)據(jù)冗余清洗及聚類的倉(cāng)庫(kù)貨包縱向定位.pdf
- 基于聚類算法的數(shù)據(jù)挖掘技術(shù)的研究.pdf
- 基于圖聚類的多維數(shù)據(jù)和軟件聚類研究.pdf
- 基于聚類的數(shù)據(jù)匿名發(fā)布技術(shù)研究.pdf
- 基于數(shù)據(jù)挖掘聚類技術(shù)的我國(guó)高校分類研究.pdf
- 聚類算法及基于簇模式聚類集成研究.pdf
- 基于SOM基因聚類的基因數(shù)據(jù)組織樣本聚類.pdf
- 基于聚類算法的數(shù)據(jù)擬合.pdf
- 基于數(shù)據(jù)聚類的語(yǔ)言模型研究.pdf
- 基于聚類的增量數(shù)據(jù)挖掘研究.pdf
- 基于層次聚類的數(shù)據(jù)分析.pdf
- 基于實(shí)例聚類的數(shù)據(jù)庫(kù)模式匹配方法研究.pdf
- 基于聚類技術(shù)支持向量機(jī)的數(shù)據(jù)挖掘研究.pdf
- 基于模式聚類的理論研究.pdf
- 多數(shù)據(jù)庫(kù)聚類技術(shù).pdf
- 基于密度的流數(shù)據(jù)聚類算法.pdf
- 基于模糊聚類的數(shù)據(jù)挖掘研究.pdf
- 基于數(shù)據(jù)場(chǎng)的聚類方法研究.pdf
評(píng)論
0/150
提交評(píng)論