Web數(shù)據(jù)集成中實(shí)體統(tǒng)一問題研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)上數(shù)據(jù)量也呈指數(shù)級(jí)增長,Web已經(jīng)成為一個(gè)非常巨大的數(shù)據(jù)源。為了高效地利用Web上有效信息,研究者們提出了Web數(shù)據(jù)集成的概念。Web數(shù)據(jù)集成就是把分散在Web上各個(gè)站點(diǎn)的各種數(shù)據(jù)信息按照一定的聯(lián)系有機(jī)地組織到一起,挖掘數(shù)據(jù)中包含的深層信息,以滿足人們對(duì)集成數(shù)據(jù)的后續(xù)使用。由于Intemet上數(shù)據(jù)的新特點(diǎn),動(dòng)態(tài)性、多樣性、半結(jié)構(gòu)化和非結(jié)構(gòu)化等,使得從Internet上準(zhǔn)確快速的集成有價(jià)值信息并為市場情報(bào)分析提供有

2、價(jià)值數(shù)據(jù)成為了一個(gè)巨大的挑戰(zhàn)。其中實(shí)體統(tǒng)一是Web信息集成框架中最關(guān)鍵問題之一。由于拼寫錯(cuò)誤,縮寫等原因,導(dǎo)致數(shù)據(jù)抽取和模式匹配之后的數(shù)據(jù)集合中可能存在大量的相同表象指向不同實(shí)體或者不同表象指向同一實(shí)體的問題,這個(gè)問題大大影響了數(shù)據(jù)質(zhì)量。為了避免“進(jìn)去的是垃圾,出來的也是垃圾(garbage in,garbage out)",必須盡力提高數(shù)據(jù)質(zhì)量。集成后的數(shù)據(jù)質(zhì)量的好壞直接影響到Web數(shù)據(jù)集成后捉供給用戶的服務(wù)質(zhì)量,因此,實(shí)體統(tǒng)一技術(shù)是

3、Web信息集成中必須研究的問題。
　　 針對(duì)不同領(lǐng)域及其不同需求,Web上數(shù)據(jù)經(jīng)過數(shù)據(jù)抽取和模式匹配,存儲(chǔ)到數(shù)據(jù)庫中之后,待統(tǒng)一實(shí)體可能面臨兩種情況:一是單一類型實(shí)體,這種情況實(shí)體統(tǒng)一要解決的是單一類型實(shí)體表象之間的識(shí)別問題,主要從減少表象比較次數(shù)方面考慮;二是多類型實(shí)體,這種實(shí)體統(tǒng)一要對(duì)數(shù)據(jù)庫中所有類型實(shí)體都要進(jìn)行識(shí)別,此時(shí)需要解決的問題是如何統(tǒng)一多類型實(shí)體的問題,使得實(shí)體統(tǒng)一結(jié)果之間互相促進(jìn),以達(dá)到比單獨(dú)統(tǒng)一每種類型實(shí)體更好

4、的結(jié)果。
　　 木文的主要工作包括:
　　 1)針對(duì)單類型實(shí)體的實(shí)體統(tǒng)一提出了一種高效的解決方案。首先提出了一種Blocking方法,將待統(tǒng)一的表象劃分為兩類,一是可能指向相同現(xiàn)實(shí)實(shí)體的不同表象,二是可能指向不同現(xiàn)實(shí)實(shí)體的相同表象。對(duì)兩種表象分別采用兩種不同的算法進(jìn)行統(tǒng)一,存統(tǒng)一的過程中,兩類實(shí)體統(tǒng)一之間又會(huì)相互促進(jìn),進(jìn)而大大提高實(shí)體統(tǒng)一的效率和準(zhǔn)確性。
　　 2)針對(duì)多類型實(shí)體的實(shí)體統(tǒng)一提出了一種新穎的解決方案