面向Deep Web數(shù)據(jù)集成的數(shù)據(jù)融合問題研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的進(jìn)步和發(fā)展，Web包含了越來(lái)越多的豐富信息，從而使Web成為了一個(gè)巨大的、分布廣泛的、全球化的在線信息源。尤其是近些年來(lái)，各式各樣的大型數(shù)據(jù)庫(kù)逐漸建立起來(lái)，以應(yīng)對(duì)各種個(gè)人或商業(yè)需求，Web已經(jīng)逐漸成為人們生活中必不可少的一部分。Web上的數(shù)據(jù)雜亂無(wú)章，信息種類復(fù)雜多樣，如果按照數(shù)據(jù)被訪問的途徑，可將整個(gè)Web分為SurfaceWeb(淺層網(wǎng)絡(luò))和DeepWeb（深層網(wǎng)絡(luò)）。其中，SurfaceWeb是指Web中通過超鏈接

2、可以被傳統(tǒng)搜索引擎索引到的靜態(tài)頁(yè)面的集合;而DeepWeb是指Web中可訪問的在線數(shù)據(jù)庫(kù)，其內(nèi)容不能被傳統(tǒng)的搜索引擎索引，而是隱藏在查詢接口后面。通過研究表明，DeepWeb有數(shù)據(jù)量大、領(lǐng)域覆蓋全面、主題性強(qiáng)、信息結(jié)構(gòu)化程度高等特點(diǎn)。為了充分利用這些寶貴的資源，用于進(jìn)一步的分析和挖掘，我們迫切的需要對(duì)DeepWeb進(jìn)行數(shù)據(jù)集成。
　　 在各個(gè)領(lǐng)域，DeepWeb信息量呈爆炸式增長(zhǎng)著，數(shù)據(jù)源的種類和信息的類型也越來(lái)越多樣化。然而，

3、這些信息是并不總是可信的，而且不同的數(shù)據(jù)源往往提供提供異構(gòu)的、沖突的數(shù)據(jù)，如何從這些海量的信息中獲得人們所真正需要的、正確的信息，成為信息集成所面臨的一大挑戰(zhàn)。因此，我們需要通過數(shù)據(jù)融合來(lái)去偽存真，獲得高質(zhì)量的數(shù)據(jù)，為分析決策提供支持。
　　 數(shù)據(jù)融合技術(shù)已經(jīng)獲得了越來(lái)越多的關(guān)注，許多研究工作者也在這一領(lǐng)域做出了很多的貢獻(xiàn)。目前，數(shù)據(jù)融合工作仍然存在以下問題有待解決:(1)DeepWeb上的數(shù)據(jù)源質(zhì)量參差不齊，其提供的值的質(zhì)量也

4、差別很大，質(zhì)量較高的數(shù)據(jù)源所提供的值的置信度往往更高。所以我們需要在數(shù)據(jù)融合之前首先對(duì)各個(gè)數(shù)據(jù)源進(jìn)行質(zhì)量評(píng)估，并將評(píng)估結(jié)果運(yùn)用到真值發(fā)現(xiàn)的過程中去(2)目前還沒有一個(gè)較為完善、標(biāo)準(zhǔn)的方法來(lái)進(jìn)行數(shù)據(jù)融合，所以需要綜合考慮數(shù)據(jù)源的準(zhǔn)確度、數(shù)據(jù)源之間的依賴、值之間的牽連度等若干因素，來(lái)解決數(shù)據(jù)沖突，發(fā)現(xiàn)真值。
　　 本文以面向DeepWeb的數(shù)據(jù)集成為目標(biāo)，在DeepWeb數(shù)據(jù)源質(zhì)量評(píng)估和真值發(fā)現(xiàn)方法等方面做了很多的研究和探索，主要工

5、作和貢獻(xiàn)概括如下:
　　 1.本文提出了一種DeepWeb數(shù)據(jù)源質(zhì)量評(píng)估模型。DeepWeb上各個(gè)數(shù)據(jù)源有很大的差異性，不同質(zhì)量的數(shù)據(jù)源往往提供不同質(zhì)量的數(shù)據(jù)。但是，目前大部分?jǐn)?shù)據(jù)融合的研究并不專門對(duì)數(shù)據(jù)源進(jìn)行質(zhì)量評(píng)估，而是在計(jì)算之初給各個(gè)數(shù)據(jù)源質(zhì)量賦相同的初值，并通過迭代算法不停的改進(jìn)和完善數(shù)據(jù)源的質(zhì)量。為了更好的進(jìn)行數(shù)據(jù)融合，我們提出了一種在數(shù)據(jù)融合之前進(jìn)行DeepWeb數(shù)據(jù)源質(zhì)量評(píng)估的方法，該方法將針對(duì)數(shù)據(jù)融合的特點(diǎn)，選取

6、數(shù)據(jù)質(zhì)量、接口頁(yè)面質(zhì)量和服務(wù)質(zhì)量三個(gè)維度的多個(gè)因素作為評(píng)估標(biāo)準(zhǔn)，分別對(duì)各個(gè)質(zhì)量評(píng)估因素進(jìn)行量化，最后對(duì)各個(gè)數(shù)據(jù)源的質(zhì)量進(jìn)行統(tǒng)一評(píng)分，得到各個(gè)數(shù)據(jù)源的質(zhì)量評(píng)估結(jié)果，并將評(píng)估結(jié)果運(yùn)用到之后的數(shù)據(jù)融合中去。實(shí)驗(yàn)證明，我們的模型能夠?qū)?shù)據(jù)源質(zhì)量進(jìn)行較為準(zhǔn)確的評(píng)估，并且如果將得到的評(píng)估結(jié)果運(yùn)用到數(shù)據(jù)融合過程中，可以對(duì)數(shù)據(jù)融合有明顯的改進(jìn)作用。
　　 2.本文提出了一種面向DeepWeb數(shù)據(jù)集成的真值發(fā)現(xiàn)方法。在各個(gè)領(lǐng)域，DeepWeb上的

7、數(shù)據(jù)量激增，同時(shí)也存在著大量的沖突數(shù)據(jù)，所以如何從這些大量沖突數(shù)據(jù)中發(fā)現(xiàn)人們所需要的、正確的值變得至關(guān)重要。我們結(jié)合自己的研究背景（面向市場(chǎng)情報(bào)的數(shù)據(jù)集成），提出了一種面向DeepWeb數(shù)據(jù)集成的數(shù)據(jù)融合計(jì)算模型。該模型綜合考慮了數(shù)據(jù)源的準(zhǔn)確度、數(shù)據(jù)源之間的依賴度、不同值之間的牽連度等因素，從沖突數(shù)據(jù)中找到真值。由于這幾個(gè)因素之間是相互作用的，所以我們迭代的計(jì)算這幾個(gè)因素，不停的改進(jìn)這些因素的值，直到結(jié)果收斂。同時(shí)我們也將數(shù)據(jù)源質(zhì)量評(píng)估