數(shù)據(jù)質(zhì)量分析中若干問題的探討.pdf

1、當前，隨著人類進入到信息社會，人們對信息系統(tǒng)的依賴程度也越來越深。當信息系統(tǒng)中的數(shù)據(jù)量以指數(shù)級別增長的同時，數(shù)據(jù)的質(zhì)量卻沒有得到足夠的重視。尤其是近幾年在經(jīng)濟全球化的影響下，產(chǎn)品和服務(wù)的競爭變得空前激烈，從而對數(shù)據(jù)提出了更高的質(zhì)量要求。雖然數(shù)據(jù)的質(zhì)量問題已經(jīng)給人類的生產(chǎn)和生活造成了重大的影響，但是該領(lǐng)域的研究目前尚處于萌芽狀態(tài)，一個完整的理論體系架構(gòu)尚未建立起來。在諸如“什么是數(shù)據(jù)質(zhì)量”這樣最基本的問題上，研究者們尚未取得共識。本研究便

2、是在這樣的背景下，結(jié)合實踐中遇到的幾個方面的具體問題，作了一定程度的探討。 按照國際上目前通用的分類方法，數(shù)據(jù)質(zhì)量分析可以分為兩類，即背景相關(guān)和背景無關(guān)的數(shù)據(jù)質(zhì)量分析。前者指的是，根據(jù)數(shù)據(jù)所應(yīng)該滿足的業(yè)務(wù)規(guī)則，對數(shù)據(jù)的質(zhì)量情況進行分析；后者則是在相關(guān)的業(yè)務(wù)規(guī)則無法獲得時，對數(shù)據(jù)的質(zhì)量情況進行分析。本文的研究為了解決企業(yè)數(shù)據(jù)所面臨的具體問題，在背景相關(guān)和背景無關(guān)兩種類型的分析方面均有所涉及，其內(nèi)容主要包括如下幾個方面： 一

3、、背景相關(guān)的數(shù)據(jù)質(zhì)量分析研究 數(shù)據(jù)質(zhì)量分析標準在稅務(wù)行業(yè)中的應(yīng)用：選擇了一些被廣泛接受的數(shù)據(jù)質(zhì)量評價標準，并依照每條標準的定義，對某稅務(wù)局的數(shù)據(jù)質(zhì)量情況進行了具體的分析。針對分析過程中發(fā)現(xiàn)的問題，并提出了相應(yīng)的解決方案。 二、背景無關(guān)的數(shù)據(jù)質(zhì)量分析研究 1．中文環(huán)境下的錯誤短語識別：對于數(shù)據(jù)集中的字符型數(shù)據(jù)，特別是含有中文的短語中所蘊含的錯誤進行識別。針對兩類主要的中文輸入法，拼音輸入法和筆畫輸入法的特點，對可能

4、產(chǎn)生的錯誤類型進行了分析。為了發(fā)現(xiàn)與輸入法無關(guān)的其它類型的錯誤，采用了計算編輯距離的技術(shù)進行探測。 2．利用統(tǒng)計特征探索數(shù)據(jù)表之間的關(guān)系：數(shù)據(jù)表之間的相互關(guān)系在數(shù)據(jù)遷移過程中有著重要的作用。而實踐中這樣的約束關(guān)系常常沒有在數(shù)據(jù)庫中顯式地進行定義，從而容易導(dǎo)致數(shù)據(jù)不一致的問題。本研究探討了如何在數(shù)據(jù)質(zhì)量不高的情況下，通過分析數(shù)據(jù)的統(tǒng)計特征，找出數(shù)據(jù)表之間可能存在的相互關(guān)系。研究中特別運用了統(tǒng)計學中的極端反應(yīng)檢驗理論。 3．