劣質數據庫上查詢估計技術的研究.pdf

1、隨著現代社會信息量的不斷增大,不正確、不一致、不確定的劣質數據開始普遍存在于數據管理系統(tǒng)中,極大地降低了數據的質量,給社會帶來了嚴重的損失。因此,迫切需要新的技術來處理劣質數據,這為數據管理帶來了新的挑戰(zhàn)。當前處理劣質數據的方法主要是數據清洗和數據修復。然而,這種方法存在一定的局限性:無法徹底清除或者修復數據,而且執(zhí)行清洗和修復的時間代價相當大,不能有效的解決劣質數據引起的問題。所以,在很多情況下,需要在一定程度上容忍劣質數據的存在。當

2、前已經有直接針對劣質數據進行查詢處理的技術被提出,但是,這些工作大多只是針對特定的查詢,并不具有普遍的適用性?；谶@些原因,需要一種統(tǒng)一的模型對劣質數據進行管理。當前應用最廣泛的模型是概率數據模型,該模型可以表示不確定的數據,但是無法描述數據操作對操作結果質量的影響,不能夠根據用戶對查詢結果的質量需求獲取相應的結果。更重要的是,應用概率數據模型的數據庫在執(zhí)行查詢的過程中,會產生所有的可能世界實例,這將導致數據規(guī)模的指數增長,影響系統(tǒng)效率

3、。
　　針對上述方法和模型的不足,本文提出了一種可以有效管理劣質數據的模型——實體關系數據模型。該模型引入了數據清潔度的概念,并重新定義了傳統(tǒng)的查詢操作,描述了操作結果的清潔度和數據清潔度之間的關系,可以提供滿足一定質量的查詢結果。針對新模型的特點,傳統(tǒng)的查詢處理技術不再適用,本文重點研究了采用該模型的實體關系數據庫中查詢估計技術的實現。首先提出了適于實體關系數據庫的選擇操作結果大小估計的新方法。新的估計方法提出了三種不同的新直方