數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量研究及數(shù)據(jù)清洗工具DataCleaner的設(shè)計實現(xiàn).pdf

1、隨著計算機網(wǎng)絡(luò)和數(shù)據(jù)庫技術(shù)的飛速發(fā)展以及人們獲取數(shù)據(jù)手段的多樣化,我們所擁有的數(shù)據(jù)資源日益豐富,數(shù)據(jù)量急劇增加.許多企業(yè)在長期的運營過程中積累了大量紛繁復(fù)雜的數(shù)據(jù),這些數(shù)據(jù)能夠反映出企業(yè)生產(chǎn)經(jīng)營過程中規(guī)律性的信息和知識,數(shù)據(jù)已成為最有價值的企業(yè)資產(chǎn).但是面對數(shù)量如此巨大而零亂的數(shù)據(jù)人工處理是非常困難的.數(shù)據(jù)倉庫就是針對解決上述問題所產(chǎn)生的一種技術(shù)方案.數(shù)據(jù)倉庫技術(shù)的出現(xiàn)是由于決策支持系統(tǒng)發(fā)展的需要.但是數(shù)據(jù)的價值在于它的質(zhì)量,基于劣質(zhì)數(shù)

2、據(jù)的決策是不可信的.管理者的決策質(zhì)量與數(shù)據(jù)質(zhì)量和可用性直接有關(guān).數(shù)據(jù)質(zhì)量問題是制約數(shù)據(jù)倉庫應(yīng)用的"瓶頸"之一.數(shù)據(jù)倉庫是數(shù)據(jù)挖掘和決策分析的基礎(chǔ),糾正數(shù)據(jù)錯誤是避免錯誤決策、降低決策風(fēng)險的重要一環(huán),數(shù)據(jù)清洗就是用來完成這項艱巨任務(wù)的.該文介紹數(shù)據(jù)質(zhì)量的概念,對數(shù)據(jù)質(zhì)量問題按其類型進(jìn)行分類,并介紹了解決不同的數(shù)據(jù)質(zhì)量問題的相應(yīng)的數(shù)據(jù)清洗方法.詳細(xì)闡述了針對數(shù)據(jù)倉庫中面臨的數(shù)據(jù)質(zhì)量問題而設(shè)計實現(xiàn)的數(shù)據(jù)清洗工具DataCleaner的體系結(jié)構(gòu)

3、、流程和各個模塊的功能.對數(shù)據(jù)清洗工具DataCleaner主要實現(xiàn)了以下功能:(1)設(shè)計并實現(xiàn)了數(shù)據(jù)源選擇和數(shù)據(jù)轉(zhuǎn)換條件模塊,使用戶可以方便的從界面選擇;(2)設(shè)計并實現(xiàn)了數(shù)據(jù)表瀏覽模塊和數(shù)據(jù)表信息統(tǒng)計模塊,使用戶可以在數(shù)據(jù)清洗過程中可以掌握數(shù)據(jù)表的信息,從而指導(dǎo)下一步的數(shù)據(jù)清洗;(3)設(shè)計并實現(xiàn)了包括蘊含值分離,分離字段合并,字符型字段規(guī)范化,缺失值處理,重復(fù)元組檢測,異常值檢測等等各種數(shù)據(jù)清洗算法,可以很好地完成數(shù)據(jù)清洗任務(wù);(4