版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著信息化產(chǎn)業(yè)的不斷推進(jìn),企業(yè)積累的數(shù)據(jù)越來越多,激增的數(shù)據(jù)背后隱藏著重要信息,對(duì)企業(yè)作出正確、科學(xué)的決策,提高競(jìng)爭(zhēng)力是至關(guān)重要的。為滿足決策分析的需要,數(shù)據(jù)倉庫應(yīng)運(yùn)而生。在數(shù)據(jù)倉庫構(gòu)建過程中,由于各種原因,數(shù)據(jù)倉庫中含有重復(fù)的、不完整的以及異常的數(shù)據(jù),即數(shù)據(jù)存在質(zhì)量問題。高質(zhì)量的數(shù)據(jù)是決策支持的前提條件,因此,為提高數(shù)據(jù)質(zhì)量,對(duì)數(shù)據(jù)進(jìn)行清理是非常必要的。
本文先論述了數(shù)據(jù)預(yù)處理的相關(guān)知識(shí),分析了數(shù)據(jù)清理的必要性以及國內(nèi)外
2、研究現(xiàn)狀,并介紹了數(shù)據(jù)質(zhì)量和數(shù)據(jù)清理的相關(guān)理論,闡述了數(shù)據(jù)清理的定義、原理與基本流程及相關(guān)清理技術(shù)。重點(diǎn)對(duì)相似重復(fù)記錄檢測(cè)及不完整數(shù)據(jù)清理方法做了深入研究,對(duì)相關(guān)算法進(jìn)行了改進(jìn),并在此基礎(chǔ)上設(shè)計(jì)了一個(gè)數(shù)據(jù)清理原型系統(tǒng)。本文主要工作如下:
(1)在重復(fù)記錄清理中,提出一種基于內(nèi)碼序值聚類的相似重復(fù)記錄檢測(cè)方法。該方法先選擇關(guān)鍵字段或字段某些位,根據(jù)字符的內(nèi)碼序值,利用聚類思想將大數(shù)據(jù)集聚集成多個(gè)小數(shù)據(jù)集;再根據(jù)等級(jí)法計(jì)算各字
3、段的權(quán)值,在各個(gè)小數(shù)據(jù)集中檢測(cè)和消除相似重復(fù)記錄。為避免關(guān)鍵字選擇不當(dāng)而造成記錄漏查問題,采用多趟檢測(cè)方法。實(shí)驗(yàn)表明該方法具有較好的檢測(cè)精度和時(shí)間效率。
(2)在不完整數(shù)據(jù)清理中,提出一種基于小波聚類加權(quán)1-NN的不完整數(shù)據(jù)清理方法。首先將數(shù)據(jù)集分成完整記錄集和不完整記錄集,然后對(duì)完整記錄集利用小波聚類算法進(jìn)行聚類,形成不同的子類,再判斷不完整記錄集中記錄的可用性,利用加權(quán)1-NN方法找到不完整記錄的最近鄰子類,最后填充不
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于度量學(xué)習(xí)的不完整數(shù)據(jù)聚類方法研究.pdf
- 不完整數(shù)據(jù)集成分類算法的研究.pdf
- 基于不完整數(shù)據(jù)處理方法的貝葉斯分類器研究.pdf
- 不完整數(shù)據(jù)減法聚類填充算法研究與應(yīng)用.pdf
- 不完整數(shù)據(jù)集模糊聚類算法研究.pdf
- 不完整數(shù)據(jù)上SKYLINE偏好查詢技術(shù)研究.pdf
- 不完整數(shù)據(jù)庫中的關(guān)聯(lián)規(guī)則挖掘研究.pdf
- 不完整數(shù)據(jù)集的多視角集成分類研究.pdf
- 基于ROUSTIDA算法的不完整數(shù)據(jù)處理分析與實(shí)現(xiàn).pdf
- 不完整測(cè)量數(shù)據(jù)的概念建構(gòu).doc
- 不完整數(shù)據(jù)的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)新算法.pdf
- vb不完整的論文
- 不完整投影數(shù)據(jù)下X射線CT重構(gòu)算法研究.pdf
- 基于不完整電信數(shù)據(jù)的用戶相似性查詢.pdf
- 不完整結(jié)構(gòu)屈曲及其可靠性評(píng)定方法研究.pdf
- 不完整策略少數(shù)者博弈分析和模擬.pdf
- 20140519 裝配圖不完整.dwg
- 20140519 裝配圖不完整.dwg
- 20140519 裝配圖不完整.dwg
- 中文數(shù)據(jù)清理的方法研究和應(yīng)用.pdf
評(píng)論
0/150
提交評(píng)論