面向Deep Web數(shù)據(jù)集成的數(shù)據(jù)融合問題研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的進(jìn)步和發(fā)展，Web包含了越來越多的豐富信息，從而使Web成為了一個巨大的、分布廣泛的、全球化的在線信息源。尤其是近些年來，各式各樣的大型數(shù)據(jù)庫逐漸建立起來，以應(yīng)對各種個人或商業(yè)需求，Web已經(jīng)逐漸成為人們生活中必不可少的一部分。Web上的數(shù)據(jù)雜亂無章，信息種類復(fù)雜多樣，如果按照數(shù)據(jù)被訪問的途徑，可將整個Web分為SurfaceWeb(淺層網(wǎng)絡(luò))和DeepWeb（深層網(wǎng)絡(luò)）。其中，SurfaceWeb是指Web中通過超鏈接

2、可以被傳統(tǒng)搜索引擎索引到的靜態(tài)頁面的集合;而DeepWeb是指Web中可訪問的在線數(shù)據(jù)庫，其內(nèi)容不能被傳統(tǒng)的搜索引擎索引，而是隱藏在查詢接口后面。通過研究表明，DeepWeb有數(shù)據(jù)量大、領(lǐng)域覆蓋全面、主題性強(qiáng)、信息結(jié)構(gòu)化程度高等特點。為了充分利用這些寶貴的資源，用于進(jìn)一步的分析和挖掘，我們迫切的需要對DeepWeb進(jìn)行數(shù)據(jù)集成。
　　 在各個領(lǐng)域，DeepWeb信息量呈爆炸式增長著，數(shù)據(jù)源的種類和信息的類型也越來越多樣化。然而，

3、這些信息是并不總是可信的，而且不同的數(shù)據(jù)源往往提供提供異構(gòu)的、沖突的數(shù)據(jù)，如何從這些海量的信息中獲得人們所真正需要的、正確的信息，成為信息集成所面臨的一大挑戰(zhàn)。因此，我們需要通過數(shù)據(jù)融合來去偽存真，獲得高質(zhì)量的數(shù)據(jù)，為分析決策提供支持。
　　 數(shù)據(jù)融合技術(shù)已經(jīng)獲得了越來越多的關(guān)注，許多研究工作者也在這一領(lǐng)域做出了很多的貢獻(xiàn)。目前，數(shù)據(jù)融合工作仍然存在以下問題有待解決:(1)DeepWeb上的數(shù)據(jù)源質(zhì)量參差不齊，其提供的值的質(zhì)量也

4、差別很大，質(zhì)量較高的數(shù)據(jù)源所提供的值的置信度往往更高。所以我們需要在數(shù)據(jù)融合之前首先對各個數(shù)據(jù)源進(jìn)行質(zhì)量評估，并將評估結(jié)果運用到真值發(fā)現(xiàn)的過程中去(2)目前還沒有一個較為完善、標(biāo)準(zhǔn)的方法來進(jìn)行數(shù)據(jù)融合，所以需要綜合考慮數(shù)據(jù)源的準(zhǔn)確度、數(shù)據(jù)源之間的依賴、值之間的牽連度等若干因素，來解決數(shù)據(jù)沖突，發(fā)現(xiàn)真值。
　　 本文以面向DeepWeb的數(shù)據(jù)集成為目標(biāo)，在DeepWeb數(shù)據(jù)源質(zhì)量評估和真值發(fā)現(xiàn)方法等方面做了很多的研究和探索，主要工

5、作和貢獻(xiàn)概括如下:
　　 1.本文提出了一種DeepWeb數(shù)據(jù)源質(zhì)量評估模型。DeepWeb上各個數(shù)據(jù)源有很大的差異性，不同質(zhì)量的數(shù)據(jù)源往往提供不同質(zhì)量的數(shù)據(jù)。但是，目前大部分?jǐn)?shù)據(jù)融合的研究并不專門對數(shù)據(jù)源進(jìn)行質(zhì)量評估，而是在計算之初給各個數(shù)據(jù)源質(zhì)量賦相同的初值，并通過迭代算法不停的改進(jìn)和完善數(shù)據(jù)源的質(zhì)量。為了更好的進(jìn)行數(shù)據(jù)融合，我們提出了一種在數(shù)據(jù)融合之前進(jìn)行DeepWeb數(shù)據(jù)源質(zhì)量評估的方法，該方法將針對數(shù)據(jù)融合的特點，選取

6、數(shù)據(jù)質(zhì)量、接口頁面質(zhì)量和服務(wù)質(zhì)量三個維度的多個因素作為評估標(biāo)準(zhǔn)，分別對各個質(zhì)量評估因素進(jìn)行量化，最后對各個數(shù)據(jù)源的質(zhì)量進(jìn)行統(tǒng)一評分，得到各個數(shù)據(jù)源的質(zhì)量評估結(jié)果，并將評估結(jié)果運用到之后的數(shù)據(jù)融合中去。實驗證明，我們的模型能夠?qū)?shù)據(jù)源質(zhì)量進(jìn)行較為準(zhǔn)確的評估，并且如果將得到的評估結(jié)果運用到數(shù)據(jù)融合過程中，可以對數(shù)據(jù)融合有明顯的改進(jìn)作用。
　　 2.本文提出了一種面向DeepWeb數(shù)據(jù)集成的真值發(fā)現(xiàn)方法。在各個領(lǐng)域，DeepWeb上的

7、數(shù)據(jù)量激增，同時也存在著大量的沖突數(shù)據(jù)，所以如何從這些大量沖突數(shù)據(jù)中發(fā)現(xiàn)人們所需要的、正確的值變得至關(guān)重要。我們結(jié)合自己的研究背景（面向市場情報的數(shù)據(jù)集成），提出了一種面向DeepWeb數(shù)據(jù)集成的數(shù)據(jù)融合計算模型。該模型綜合考慮了數(shù)據(jù)源的準(zhǔn)確度、數(shù)據(jù)源之間的依賴度、不同值之間的牽連度等因素，從沖突數(shù)據(jù)中找到真值。由于這幾個因素之間是相互作用的，所以我們迭代的計算這幾個因素，不停的改進(jìn)這些因素的值，直到結(jié)果收斂。同時我們也將數(shù)據(jù)源質(zhì)量評估