實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中科學(xué)數(shù)據(jù)排重模型的研究.pdf

1、在信息時(shí)代,正確的決策成為競(jìng)爭(zhēng)強(qiáng)有力的武器。為制定戰(zhàn)略意義上的商業(yè)計(jì)劃,進(jìn)行戰(zhàn)術(shù)上的商業(yè)決策,各企業(yè)紛紛構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)。但是,由于數(shù)據(jù)倉(cāng)庫(kù)從各種數(shù)據(jù)源中導(dǎo)入大量的數(shù)據(jù),而一些數(shù)據(jù)源包含“臟”數(shù)據(jù)的概率是非常高的;另一方面,對(duì)用于決策支持的數(shù)據(jù)倉(cāng)庫(kù)而言,其中數(shù)據(jù)的質(zhì)量對(duì)避免錯(cuò)誤的決策是至關(guān)重要的。重復(fù)數(shù)據(jù)是影響數(shù)據(jù)質(zhì)量的一個(gè)重要因素,數(shù)據(jù)重復(fù)不僅會(huì)造成數(shù)據(jù)的冗余,使數(shù)據(jù)量增大,增加數(shù)據(jù)倉(cāng)庫(kù)的負(fù)擔(dān),還會(huì)嚴(yán)重影響分析和決策。因此,在數(shù)據(jù)倉(cāng)庫(kù)中,

2、數(shù)據(jù)排重是提高數(shù)據(jù)質(zhì)量的必不可少的方法之一。
　　 實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的一個(gè)新的發(fā)展方向。它是指一個(gè)數(shù)據(jù)源的任何改變都自動(dòng),且立即反映到數(shù)據(jù)倉(cāng)庫(kù)中。實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展又給保證數(shù)據(jù)質(zhì)量的問(wèn)題帶來(lái)了新的挑戰(zhàn)。實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)源的變化是即時(shí)反應(yīng)到數(shù)據(jù)倉(cāng)庫(kù)中的,也就是說(shuō)ETL是實(shí)時(shí)的,這就需要實(shí)時(shí)的保證數(shù)據(jù)的質(zhì)量,以支持前端的查詢和分析。而以前的質(zhì)量保證的研究大多是基于非實(shí)時(shí)的數(shù)據(jù)倉(cāng)庫(kù),因此,需要一種新的調(diào)度方法來(lái)更加準(zhǔn)確、高

3、效的保證數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的可信度。
　　 本文首先提出了一種面向科學(xué)數(shù)據(jù)的通用排重模型,介紹了科學(xué)數(shù)據(jù)特點(diǎn),然后詳細(xì)描述了該排重模型,證明傳統(tǒng)的“排序&合并”方法不適合于科學(xué)數(shù)據(jù)排重并給出本模型的算法細(xì)節(jié),同時(shí)介紹了該模型的調(diào)度流程、體系結(jié)構(gòu)和實(shí)現(xiàn);然后,分析了實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)質(zhì)量保證的困難和問(wèn)題,提出了在實(shí)時(shí)環(huán)境下的排重優(yōu)先調(diào)度策略、實(shí)時(shí)調(diào)度策略、ETL優(yōu)先調(diào)度策略,并且一一給出了具體分析,在ETL優(yōu)先調(diào)度策略中,定義了排重繁