劣質(zhì)數(shù)據(jù)庫上查詢估計技術的研究.pdf

1、隨著現(xiàn)代社會信息量的不斷增大,不正確、不一致、不確定的劣質(zhì)數(shù)據(jù)開始普遍存在于數(shù)據(jù)管理系統(tǒng)中,極大地降低了數(shù)據(jù)的質(zhì)量,給社會帶來了嚴重的損失。因此,迫切需要新的技術來處理劣質(zhì)數(shù)據(jù),這為數(shù)據(jù)管理帶來了新的挑戰(zhàn)。當前處理劣質(zhì)數(shù)據(jù)的方法主要是數(shù)據(jù)清洗和數(shù)據(jù)修復。然而,這種方法存在一定的局限性:無法徹底清除或者修復數(shù)據(jù),而且執(zhí)行清洗和修復的時間代價相當大,不能有效的解決劣質(zhì)數(shù)據(jù)引起的問題。所以,在很多情況下,需要在一定程度上容忍劣質(zhì)數(shù)據(jù)的存在。當

2、前已經(jīng)有直接針對劣質(zhì)數(shù)據(jù)進行查詢處理的技術被提出,但是,這些工作大多只是針對特定的查詢,并不具有普遍的適用性?；谶@些原因,需要一種統(tǒng)一的模型對劣質(zhì)數(shù)據(jù)進行管理。當前應用最廣泛的模型是概率數(shù)據(jù)模型,該模型可以表示不確定的數(shù)據(jù),但是無法描述數(shù)據(jù)操作對操作結果質(zhì)量的影響,不能夠根據(jù)用戶對查詢結果的質(zhì)量需求獲取相應的結果。更重要的是,應用概率數(shù)據(jù)模型的數(shù)據(jù)庫在執(zhí)行查詢的過程中,會產(chǎn)生所有的可能世界實例,這將導致數(shù)據(jù)規(guī)模的指數(shù)增長,影響系統(tǒng)效率

3、。
　　針對上述方法和模型的不足,本文提出了一種可以有效管理劣質(zhì)數(shù)據(jù)的模型——實體關系數(shù)據(jù)模型。該模型引入了數(shù)據(jù)清潔度的概念,并重新定義了傳統(tǒng)的查詢操作,描述了操作結果的清潔度和數(shù)據(jù)清潔度之間的關系,可以提供滿足一定質(zhì)量的查詢結果。針對新模型的特點,傳統(tǒng)的查詢處理技術不再適用,本文重點研究了采用該模型的實體關系數(shù)據(jù)庫中查詢估計技術的實現(xiàn)。首先提出了適于實體關系數(shù)據(jù)庫的選擇操作結果大小估計的新方法。新的估計方法提出了三種不同的新直方