數據集成中基于數據依賴的數據質量處理技術研究.pdf

1、數據是信息的載體，隨著信息處理技術的不斷發(fā)展，各個領域都積累了大量的數據，數據集成技術應運而生。為了更好的利用數據進行分析和決策，要求數據是可靠的、沒有錯誤的，這就使得對數據質量的需求愈加迫切。本文對數據集成中的數據質量問題進行研究，提出了基于數據依賴的數據質量處理技術。
　　首先，本文就數據質量的研究現(xiàn)狀進行了詳細的介紹，包括數據質量的定義、評估、分類、數據質量提高方法以及數據集成中的數據質量問題，針對數據集成中的數據質量問題的

2、特點，本文研究了其中比較突出的兩個方面的處理技術:數據一致性處理和數據唯一性處理。
　　對于數據一致性，本文研究了基于條件依賴的處理技術。本文分析了現(xiàn)有一致性處理方法存在的不足，依照條件包含依賴定義了條件包含依賴的非一致性數據的語義假設，并且制定了相應地非一致性數據的修復規(guī)則?；谛迯鸵?guī)則，結合已有的條件函數依賴修復算法，設計了利用條件依賴進行一致性處理的算法，更為有效地解決了數據源內部和數據源之間的數據不一致問題。
　　對

3、于數據唯一性，本文研究了基于復制依賴的處理技術。數據集成通常會導致很多相似重復記錄，檢測出這些記錄并進行合并可以保證數據的唯一性，但目前關于相似重復記錄的合并技術研究相對較少。針對現(xiàn)實世界中數據集成的數據源之間通常存在復制依賴關系的情況，本文通過獲取數據源之間的復制依賴關系圖，進而利用它確定數據最終的正確值，達到保證數據唯一性的目的。此外，還研究了唯一性處理算法的性能優(yōu)化問題，給出了性能優(yōu)化方法。
　　最后，本文分別地對以上處理技