多數(shù)據(jù)源環(huán)境下重復(fù)記錄檢測問題的研究.pdf

1、數(shù)據(jù)質(zhì)量管理如同產(chǎn)品質(zhì)量管理一樣貫穿于數(shù)據(jù)生命周期的各個(gè)階段，在許多領(lǐng)域中，如商業(yè)、體育、音樂、旅游等，有大量的數(shù)據(jù)源提供的數(shù)據(jù)信息重復(fù)。這些重復(fù)記錄會給系統(tǒng)的用戶在很多方面造成不便（如數(shù)據(jù)冗余、不一致、額外的資源耗費(fèi)等），導(dǎo)致系統(tǒng)的可用性降低。因而需要我們能正確快速的將一個(gè)數(shù)據(jù)集合中的重復(fù)記錄識別出來。
　　當(dāng)前的重復(fù)記錄檢測工作主要考慮如何在相同模式下做重復(fù)記錄的檢測工作，而面對大量的模式異構(gòu)的記錄時(shí)，首先要做模式匹配，將模式

2、統(tǒng)一之后，在統(tǒng)一的模式下做重復(fù)記錄檢測的工作。但是當(dāng)記錄集合來自于大量異構(gòu)數(shù)據(jù)源，且其中存在著模式未知的情況時(shí)，重復(fù)記錄檢測工作則變得十分困難。
　　為了能夠正確有效地處理這種情況，本文提出了基于二分圖匹配的相似度度量方法和重復(fù)記錄檢測方法。本文研究了包含數(shù)據(jù)模式異構(gòu)復(fù)雜并且模式信息缺失的的數(shù)據(jù)集合上的重復(fù)記錄檢測問題，在第二章提出了適合該情況的基于二分圖匹配的相似度度量，并以此為基礎(chǔ)在第三章提出了適用于上述情況的重復(fù)記錄檢測算法

3、?；诙謭D最優(yōu)匹配的重復(fù)記錄檢測算法具有考慮到模式異構(gòu)，支持多種數(shù)據(jù)類型等特點(diǎn)，適用于大量異構(gòu)數(shù)據(jù)源情況的重復(fù)記錄檢測。然而，這種方法的不足之處在于其需要較大的時(shí)間開銷，且由于其分類要求嚴(yán)苛，使得算法召回率受到影響。第四章針對基于二分圖最優(yōu)匹配的方法存在的兩個(gè)問題，基于編輯距離滿足三角不等式以及記錄相似度和屬性相似度滿足線性關(guān)系這兩個(gè)性質(zhì)，提出了一種基于記錄相似度估計(jì)的高效重復(fù)記錄檢測算法，彌補(bǔ)了原始算法的兩個(gè)缺點(diǎn)。理論分析和實(shí)驗(yàn)結(jié)果