數(shù)據(jù)集成技術(shù)若干問(wèn)題研究.pdf

1、近年來(lái),計(jì)算機(jī)技術(shù)的不斷發(fā)展和應(yīng)用的廣泛普及加快了人類社會(huì)信息化的進(jìn)程。數(shù)據(jù)集成技術(shù)是解決甘前普遍存在的“信息孤島”問(wèn)題的重要方法。數(shù)據(jù)集成系統(tǒng)的優(yōu)劣評(píng)判標(biāo)準(zhǔn)是看該系統(tǒng)是否能使用戶以最小的代價(jià),高效率的使用這些數(shù)據(jù)。系統(tǒng)是否能夠提供一致的數(shù)據(jù)是實(shí)現(xiàn)此標(biāo)準(zhǔn)的基礎(chǔ)。所以,針對(duì)數(shù)據(jù)集成中的數(shù)據(jù)不一致性問(wèn)題,本文基于以下兩個(gè)方面展開(kāi)了研究:1)通過(guò)對(duì)數(shù)據(jù)集成系統(tǒng)返回查詢結(jié)果中的不一致數(shù)據(jù)進(jìn)行分析、解決,從而得到一致的查詢結(jié)果?；谶@種方式,本文

2、基于數(shù)據(jù)源質(zhì)量開(kāi)展了相關(guān)研究,提出了解決方法,并給出了普適計(jì)算環(huán)境下的解決策略和算法。同時(shí)設(shè)計(jì)實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。2)由數(shù)據(jù)集成系統(tǒng)提供不一致的數(shù)據(jù)集,并由專家對(duì)所有不一致數(shù)據(jù)進(jìn)行集中評(píng)估。基于這種方式,本文重點(diǎn)研究了專家參與解決數(shù)據(jù)不一致性問(wèn)題時(shí)如何取得最好的系統(tǒng)收益。
　　 具體而言,論文的主要研究工作和創(chuàng)新性包括以下幾個(gè)方面:
　　 1)針對(duì)數(shù)據(jù)集成中數(shù)據(jù)不一致性問(wèn)題提出了基于數(shù)據(jù)源質(zhì)量的解決方法。本文定義了數(shù)據(jù)源

3、質(zhì)量指標(biāo),設(shè)計(jì)了數(shù)據(jù)集成的數(shù)據(jù)模型?；谠摂?shù)據(jù)模型,對(duì)數(shù)據(jù)集成中的數(shù)據(jù)不一致性問(wèn)題給出了明確的定義。為了能夠處理定性的指標(biāo)值,使用模糊多屬性決策方法來(lái)解決查詢結(jié)果中的不一致數(shù)據(jù)。并基于實(shí)驗(yàn)進(jìn)行驗(yàn)證,得到了良好的實(shí)驗(yàn)結(jié)果。
　　 2)由于普適計(jì)算環(huán)境具有動(dòng)態(tài)性的特點(diǎn),普適環(huán)境中數(shù)據(jù)源質(zhì)量可能經(jīng)常發(fā)生改變并且獲得實(shí)際的數(shù)據(jù)源質(zhì)量是非常困難的。本文針對(duì)普適環(huán)境的特點(diǎn),提出了基于模糊多屬性群決策的方法來(lái)解決數(shù)據(jù)集成中的數(shù)據(jù)不一致性問(wèn)題。

4、本文使用數(shù)據(jù)質(zhì)量指標(biāo)和消費(fèi)質(zhì)量指標(biāo)來(lái)描述數(shù)據(jù)源的質(zhì)量。在數(shù)據(jù)質(zhì)量指標(biāo)中,定義了一個(gè)數(shù)據(jù)源屬性--“歷史可信度”。“歷史可信度”表示在數(shù)據(jù)不一致性問(wèn)題的處理過(guò)程中,數(shù)據(jù)源提供數(shù)據(jù)的整體正確程度,并且可以基于用戶反饋修改該屬性的值。本文提出的解決方案首先基于數(shù)據(jù)源的消費(fèi)質(zhì)量指標(biāo),使用效用函數(shù)對(duì)數(shù)據(jù)進(jìn)行初步篩選。然后使用了數(shù)據(jù)質(zhì)量指標(biāo)和模糊多屬性群決策方法來(lái)選擇最合適的數(shù)據(jù)源提供的數(shù)據(jù)作為查詢結(jié)果中不一致數(shù)據(jù)的解決結(jié)果,并將一致的查詢結(jié)果提供

5、給用戶。根據(jù)用戶反饋,調(diào)整相關(guān)數(shù)據(jù)源的歷史可信度指標(biāo)值。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出方法的有效性。
　　 3)領(lǐng)域?qū)＜覅⑴c解決數(shù)據(jù)集成系統(tǒng)中的數(shù)據(jù)不一致性問(wèn)題時(shí),針對(duì)如何讓專家的評(píng)估更有效率,使數(shù)據(jù)集成系統(tǒng)取得最大的收益,本文提出了基于完美信息價(jià)值的解決方法。本文基于查詢結(jié)果的質(zhì)量來(lái)評(píng)估系統(tǒng)效用,定義了系統(tǒng)效用公式,并進(jìn)一步得到了完美信息價(jià)值的計(jì)算公式。根據(jù)計(jì)算得出的完美信息價(jià)值對(duì)所有待評(píng)估的不一致數(shù)據(jù)集進(jìn)行排序,使專家的評(píng)估可以最大

6、化系統(tǒng)收益。并基于實(shí)驗(yàn)驗(yàn)證方法的有效性,得到了良好的實(shí)驗(yàn)結(jié)果。
　　 4)基于本文提出的解決數(shù)據(jù)不一致性問(wèn)題的方案,設(shè)計(jì)實(shí)現(xiàn)了上海世博數(shù)據(jù)集成子系統(tǒng)的原型系統(tǒng)。該系統(tǒng)采用了基于可信度的數(shù)據(jù)集成技術(shù),以服務(wù)總線和XML為基礎(chǔ),以基于模式的集成為核心,基于Web服務(wù)統(tǒng)一封裝異構(gòu)數(shù)據(jù)源。在該子系統(tǒng)中,用戶可以根據(jù)需要選擇是否解決查詢結(jié)果中的數(shù)據(jù)不一致性問(wèn)題,這增強(qiáng)了系統(tǒng)的靈活性。世博數(shù)據(jù)集成子系統(tǒng)采用近似面向?qū)ο蟮臄?shù)據(jù)模式管理方法對(duì)系