異構(gòu)數(shù)據(jù)集成中實(shí)體識(shí)別與處理技術(shù)的研究與應(yīng)用.pdf

1、經(jīng)過(guò)多年的信息化建設(shè)，許多組織機(jī)構(gòu)在不同歷史時(shí)期建立了各種不同的管理信息系統(tǒng)，積累了大量的歷史數(shù)據(jù)。但由于這些系統(tǒng)設(shè)計(jì)之初沒(méi)有考慮到將來(lái)組織機(jī)構(gòu)的變化及信息共享的需要，沒(méi)有統(tǒng)一的結(jié)構(gòu)設(shè)計(jì)，造成系統(tǒng)中存在大量冗余數(shù)據(jù)、垃圾數(shù)據(jù)及異構(gòu)數(shù)據(jù)，無(wú)法保證數(shù)據(jù)的一致性，從而導(dǎo)致數(shù)據(jù)不能共享，降低了信息的利用效率。為解決以上問(wèn)題，異構(gòu)數(shù)據(jù)集成的研究成為了人們關(guān)注的熱點(diǎn)，對(duì)其相關(guān)技術(shù)的研究也成為了該領(lǐng)域中一個(gè)非常熱門(mén)的課題。
　　 在研究數(shù)據(jù)集

2、成常用方法及“臟數(shù)據(jù)”、“數(shù)據(jù)源異構(gòu)”和“數(shù)據(jù)質(zhì)量”等問(wèn)題的解決方法基礎(chǔ)上，重點(diǎn)討論了數(shù)據(jù)集成過(guò)程中相似重復(fù)記錄的識(shí)別、清洗策略及其相關(guān)算法，利用分階段進(jìn)行實(shí)體識(shí)別技術(shù)來(lái)消除相似重復(fù)記錄，為保證集成數(shù)據(jù)的質(zhì)量提供了一套通用的解決方案。提出了一種利用兩次聚類的方法對(duì)數(shù)據(jù)進(jìn)行匹配，在進(jìn)行聚類的過(guò)程中利用兩條記錄的編輯距離來(lái)實(shí)現(xiàn)相似重復(fù)記錄的比較工作，為異構(gòu)數(shù)據(jù)集成中的實(shí)體識(shí)別提供了一種新的途徑。
　　 最后，將研究的方法應(yīng)用到某市質(zhì)