基于網(wǎng)絡(luò)的數(shù)據(jù)清洗技術(shù)研究.pdf

1、隨著時(shí)間的流逝,人們?cè)O(shè)計(jì)的信息系統(tǒng)中收集了越來(lái)越多的數(shù)據(jù),有的甚至達(dá)到了TB、PB以上這種海量的級(jí)別。一些因素如:內(nèi)容過(guò)時(shí)、輸入錯(cuò)誤、重復(fù)輸入、屬性值沖突等嚴(yán)重影響著數(shù)據(jù)的質(zhì)量。當(dāng)前的算法都是需要依賴提前獲知屬性間依賴關(guān)系的,但現(xiàn)實(shí)中的數(shù)據(jù)的函數(shù)依賴關(guān)系并非都是已知的。為了克服種種因數(shù)據(jù)的質(zhì)量所引發(fā)的問(wèn)題,彌補(bǔ)當(dāng)前方法的不足,我們提出了基于網(wǎng)絡(luò)的數(shù)據(jù)清洗方法。
　　互聯(lián)網(wǎng)上有海量的知識(shí)可以用來(lái)支持?jǐn)?shù)據(jù)的清洗工作,我們?cè)跈z查一條數(shù)據(jù)

2、是否滿足質(zhì)量要求的同時(shí),可以根據(jù)關(guān)系數(shù)據(jù)的特點(diǎn)先從網(wǎng)絡(luò)上獲得其相應(yīng)的文本模式的知識(shí),然后根據(jù)模式的知識(shí)來(lái)檢查數(shù)據(jù)的質(zhì)量,并對(duì)不符合質(zhì)量要求的數(shù)據(jù)進(jìn)行清洗。
　　本文首先對(duì)所研究的數(shù)據(jù)質(zhì)量問(wèn)題、數(shù)據(jù)清洗的內(nèi)容、基于網(wǎng)絡(luò)的數(shù)據(jù)清洗技術(shù)都給出了明確的定義。本文希望搭建一個(gè)基于網(wǎng)絡(luò)知識(shí)的數(shù)據(jù)清洗框架,它首先將本地的關(guān)系數(shù)據(jù)中的元組進(jìn)行分類。將其中確定正確的元組數(shù)據(jù)進(jìn)行抽樣并放到WEB上交互,以基于互聯(lián)網(wǎng)檢索內(nèi)容的模糊匹配為工具,獲得其相應(yīng)

3、的文本模式知識(shí)。然后利用找到的模式知識(shí),對(duì)本地?cái)?shù)據(jù)中存在質(zhì)量問(wèn)題且適用于此技術(shù)的數(shù)據(jù)進(jìn)行基于網(wǎng)絡(luò)知識(shí)的清洗。
　　本文中所提出的基于網(wǎng)絡(luò)的數(shù)據(jù)清洗框架共分為三大部分,第一部分是數(shù)據(jù)質(zhì)量問(wèn)題的檢測(cè),第二部分是模式的獲取部分,最后一部分是清洗部分。其中數(shù)據(jù)質(zhì)量問(wèn)題的檢測(cè)部分直接與另外兩部分交互。模式的獲取部分又可分為關(guān)鍵字生成、模式的獲取兩個(gè)模塊。清洗部分包含可行元組的選擇、基于獲取到的模式的元組清洗、使用其它策略的清洗三個(gè)模塊。