ETL過程中的數(shù)據(jù)清洗技術(shù)研究與應(yīng)用.pdf

1、數(shù)據(jù)的抽取、轉(zhuǎn)換和裝入是創(chuàng)建數(shù)據(jù)倉庫系統(tǒng)的重要環(huán)節(jié)，它將組織機構(gòu)內(nèi)多元分散的數(shù)據(jù)按照主題統(tǒng)一裝載到數(shù)據(jù)倉庫中，能夠很好地解決組織機構(gòu)內(nèi)部數(shù)據(jù)一致性與信息集成化問題。然而，ETL程序的頻繁運行難免會產(chǎn)生大量的“臟數(shù)據(jù)”，直接導(dǎo)致數(shù)據(jù)倉庫技術(shù)由于數(shù)據(jù)質(zhì)量而不能產(chǎn)生理想正確的決策分析結(jié)果，因此數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉庫之前需要進(jìn)行清洗。數(shù)據(jù)清洗技術(shù)一直是近年來數(shù)據(jù)倉庫領(lǐng)域中的研究熱點，其主要任務(wù)是從原始數(shù)據(jù)集中去除不一致的和錯誤的數(shù)據(jù)。 首先

2、描述了數(shù)據(jù)質(zhì)量的基本概念、評價指標(biāo)及分類等問題，在此基礎(chǔ)上按照數(shù)據(jù)清洗算法將臟數(shù)據(jù)劃分為“獨立型臟數(shù)據(jù)”、“依賴型臟數(shù)據(jù)”兩類，并給出了相應(yīng)的解決方法。其次描述了清洗的基本定義及清洗環(huán)節(jié)，定義了ETL層的數(shù)據(jù)清洗模型和在元數(shù)據(jù)庫中存儲的清洗規(guī)則后，提出了一種自動清洗和人為清洗相混合的數(shù)據(jù)清洗策略。 針對中文地址類信息的數(shù)據(jù)清洗問題，提出了基于特征字符的分詞方案，并給出了相應(yīng)的分詞算法。該方案將中文地址類信息按邏輯意義分為省、市、