集成數(shù)據(jù)中實體統(tǒng)一技術(shù)的研究.pdf

1、日益發(fā)展的網(wǎng)絡(luò)和飛速膨脹的信息給人們帶來了很多的便利，人們已經(jīng)開始習(xí)慣于上網(wǎng)發(fā)布信息，查找資料，網(wǎng)上科研。各種各樣的應(yīng)用系統(tǒng)和web服務(wù)出現(xiàn)了豐富的數(shù)據(jù)資源。為了能有效利用這些現(xiàn)有資源，必須進(jìn)行數(shù)據(jù)集成或者數(shù)據(jù)挖掘。但是，由于數(shù)據(jù)源種類繁多，而且信息更新快，很多數(shù)據(jù)由于各種原因得不得及時更新形成了大量過時數(shù)據(jù)，加之各數(shù)據(jù)源的異構(gòu)性，使得集成數(shù)據(jù)中含有大量的“臟數(shù)據(jù)”，即存在數(shù)據(jù)質(zhì)量問題；主要表現(xiàn)為：拼寫問題、錄入錯誤、不合法值、空值、不

2、一致值、簡寫、同一實體的多種表示（重復(fù)）、不遵循引用完整性等。由于不同數(shù)據(jù)庫之間對數(shù)據(jù)表示的差異或者因為錄入錯誤等人為的原因?qū)е录珊蟮臄?shù)據(jù)庫中同一實體對應(yīng)多條記錄，這些重復(fù)的記錄可能導(dǎo)致建立錯誤的數(shù)據(jù)挖掘模型，給后期數(shù)據(jù)的決策分析產(chǎn)生很大的影響。因此，判斷兩條記錄是否相似重復(fù)在數(shù)據(jù)集成、數(shù)據(jù)倉庫中很重要。實體統(tǒng)一(EntityResolution，ER)是用來判斷多條記錄是否指向相同的實體的問題，則上述的檢測這些重復(fù)數(shù)據(jù)即是進(jìn)行實體統(tǒng)

3、一。
　　 實體統(tǒng)一是數(shù)據(jù)整合和數(shù)據(jù)清理的重要組成部分，通過消除冗余，為分析、挖掘提供高質(zhì)量的數(shù)據(jù)支持。本文據(jù)現(xiàn)有研究存在的問題，提出了兩種實體統(tǒng)一的方法，一是提出基于權(quán)值分級的實體統(tǒng)一方法。根據(jù)分級法計算每個字段的權(quán)值，按照分級思想，選擇某關(guān)鍵字段或字段某些位將大數(shù)據(jù)集分割成許多不相交的小數(shù)據(jù)集，再在各個小數(shù)據(jù)集中進(jìn)行實體統(tǒng)一，并引入多趟查找算法反復(fù)進(jìn)行實體統(tǒng)一：二是提出了領(lǐng)域相關(guān)的整體式實體統(tǒng)一方法，綜合運(yùn)用了屬性，上下文，

4、和關(guān)系這三種相似度度量方法，來處理相似度，然后放入本文提出的整體式聚類算法中進(jìn)行實體統(tǒng)一。其主要貢獻(xiàn)：
　　 (1)在分析現(xiàn)有重復(fù)記錄檢測實體統(tǒng)一方法的基礎(chǔ)上，提出領(lǐng)域無關(guān)的基于權(quán)值分級的實體統(tǒng)一的算法。算法運(yùn)用分級劃分思想，即把大的數(shù)據(jù)集分割成很多不相交的小數(shù)據(jù)集，再在小數(shù)據(jù)集中分別查找重復(fù)記錄，即采用了分而治之的思想，并進(jìn)行多趟查找，實驗證明這種方法提高了實體統(tǒng)一檢測的精度和效率。
　　 (2)針對待統(tǒng)一實體本身之間

5、具有豐富關(guān)系的場景，比如文獻(xiàn)、社會關(guān)系網(wǎng)等領(lǐng)域，提出了一個領(lǐng)域相關(guān)的整體式實體統(tǒng)一的方法。該方法綜合運(yùn)用了屬性，上下文，和關(guān)系這三種相似度度量方法，來處理相似度，并用本文提出的聚類的實體統(tǒng)一算法來處理，比較全面的準(zhǔn)確的計算出相似度，對幾個數(shù)據(jù)集試驗評價表明該方法查準(zhǔn)率高、效率好。
　　 (3)實體表象之間的緊密關(guān)聯(lián)暗示了潛在團(tuán)體的存在。為了度量這個緊密關(guān)聯(lián)的程度，我們引入數(shù)據(jù)結(jié)構(gòu)一擬團(tuán)，定義了擬團(tuán)相似度，用來衡量和計算關(guān)系相似度