劣質(zhì)數(shù)據(jù)庫(kù)上查詢估計(jì)技術(shù)的研究.pdf

1、隨著現(xiàn)代社會(huì)信息量的不斷增大,不正確、不一致、不確定的劣質(zhì)數(shù)據(jù)開始普遍存在于數(shù)據(jù)管理系統(tǒng)中,極大地降低了數(shù)據(jù)的質(zhì)量,給社會(huì)帶來了嚴(yán)重的損失。因此,迫切需要新的技術(shù)來處理劣質(zhì)數(shù)據(jù),這為數(shù)據(jù)管理帶來了新的挑戰(zhàn)。當(dāng)前處理劣質(zhì)數(shù)據(jù)的方法主要是數(shù)據(jù)清洗和數(shù)據(jù)修復(fù)。然而,這種方法存在一定的局限性:無法徹底清除或者修復(fù)數(shù)據(jù),而且執(zhí)行清洗和修復(fù)的時(shí)間代價(jià)相當(dāng)大,不能有效的解決劣質(zhì)數(shù)據(jù)引起的問題。所以,在很多情況下,需要在一定程度上容忍劣質(zhì)數(shù)據(jù)的存在。當(dāng)

2、前已經(jīng)有直接針對(duì)劣質(zhì)數(shù)據(jù)進(jìn)行查詢處理的技術(shù)被提出,但是,這些工作大多只是針對(duì)特定的查詢,并不具有普遍的適用性?；谶@些原因,需要一種統(tǒng)一的模型對(duì)劣質(zhì)數(shù)據(jù)進(jìn)行管理。當(dāng)前應(yīng)用最廣泛的模型是概率數(shù)據(jù)模型,該模型可以表示不確定的數(shù)據(jù),但是無法描述數(shù)據(jù)操作對(duì)操作結(jié)果質(zhì)量的影響,不能夠根據(jù)用戶對(duì)查詢結(jié)果的質(zhì)量需求獲取相應(yīng)的結(jié)果。更重要的是,應(yīng)用概率數(shù)據(jù)模型的數(shù)據(jù)庫(kù)在執(zhí)行查詢的過程中,會(huì)產(chǎn)生所有的可能世界實(shí)例,這將導(dǎo)致數(shù)據(jù)規(guī)模的指數(shù)增長(zhǎng),影響系統(tǒng)效率

3、。
　　針對(duì)上述方法和模型的不足,本文提出了一種可以有效管理劣質(zhì)數(shù)據(jù)的模型——實(shí)體關(guān)系數(shù)據(jù)模型。該模型引入了數(shù)據(jù)清潔度的概念,并重新定義了傳統(tǒng)的查詢操作,描述了操作結(jié)果的清潔度和數(shù)據(jù)清潔度之間的關(guān)系,可以提供滿足一定質(zhì)量的查詢結(jié)果。針對(duì)新模型的特點(diǎn),傳統(tǒng)的查詢處理技術(shù)不再適用,本文重點(diǎn)研究了采用該模型的實(shí)體關(guān)系數(shù)據(jù)庫(kù)中查詢估計(jì)技術(shù)的實(shí)現(xiàn)。首先提出了適于實(shí)體關(guān)系數(shù)據(jù)庫(kù)的選擇操作結(jié)果大小估計(jì)的新方法。新的估計(jì)方法提出了三種不同的新直方