數(shù)據(jù)集成中基于數(shù)據(jù)依賴的數(shù)據(jù)質(zhì)量處理技術(shù)研究.pdf

1、數(shù)據(jù)是信息的載體，隨著信息處理技術(shù)的不斷發(fā)展，各個領(lǐng)域都積累了大量的數(shù)據(jù)，數(shù)據(jù)集成技術(shù)應(yīng)運而生。為了更好的利用數(shù)據(jù)進行分析和決策，要求數(shù)據(jù)是可靠的、沒有錯誤的，這就使得對數(shù)據(jù)質(zhì)量的需求愈加迫切。本文對數(shù)據(jù)集成中的數(shù)據(jù)質(zhì)量問題進行研究，提出了基于數(shù)據(jù)依賴的數(shù)據(jù)質(zhì)量處理技術(shù)。
　　首先，本文就數(shù)據(jù)質(zhì)量的研究現(xiàn)狀進行了詳細的介紹，包括數(shù)據(jù)質(zhì)量的定義、評估、分類、數(shù)據(jù)質(zhì)量提高方法以及數(shù)據(jù)集成中的數(shù)據(jù)質(zhì)量問題，針對數(shù)據(jù)集成中的數(shù)據(jù)質(zhì)量問題的

2、特點，本文研究了其中比較突出的兩個方面的處理技術(shù):數(shù)據(jù)一致性處理和數(shù)據(jù)唯一性處理。
　　對于數(shù)據(jù)一致性，本文研究了基于條件依賴的處理技術(shù)。本文分析了現(xiàn)有一致性處理方法存在的不足，依照條件包含依賴定義了條件包含依賴的非一致性數(shù)據(jù)的語義假設(shè)，并且制定了相應(yīng)地非一致性數(shù)據(jù)的修復(fù)規(guī)則。基于修復(fù)規(guī)則，結(jié)合已有的條件函數(shù)依賴修復(fù)算法，設(shè)計了利用條件依賴進行一致性處理的算法，更為有效地解決了數(shù)據(jù)源內(nèi)部和數(shù)據(jù)源之間的數(shù)據(jù)不一致問題。
　　對

3、于數(shù)據(jù)唯一性，本文研究了基于復(fù)制依賴的處理技術(shù)。數(shù)據(jù)集成通常會導(dǎo)致很多相似重復(fù)記錄，檢測出這些記錄并進行合并可以保證數(shù)據(jù)的唯一性，但目前關(guān)于相似重復(fù)記錄的合并技術(shù)研究相對較少。針對現(xiàn)實世界中數(shù)據(jù)集成的數(shù)據(jù)源之間通常存在復(fù)制依賴關(guān)系的情況，本文通過獲取數(shù)據(jù)源之間的復(fù)制依賴關(guān)系圖，進而利用它確定數(shù)據(jù)最終的正確值，達到保證數(shù)據(jù)唯一性的目的。此外，還研究了唯一性處理算法的性能優(yōu)化問題，給出了性能優(yōu)化方法。
　　最后，本文分別地對以上處理技