基于語義關(guān)聯(lián)的重復數(shù)據(jù)清理技術(shù)研究.pdf

1、重復數(shù)據(jù)的出現(xiàn)會給數(shù)據(jù)質(zhì)量帶來極大的困擾，嚴重影響著數(shù)據(jù)處理和分析的效率，如何對重復數(shù)據(jù)進行清理是數(shù)據(jù)處理研究的重要問題。然而，隨著數(shù)據(jù)的急劇增長，數(shù)據(jù)源的多樣性，同名、多詞一義等歧義實體的出現(xiàn)，關(guān)聯(lián)數(shù)據(jù)的大量涌現(xiàn)給現(xiàn)有的重復數(shù)據(jù)清理方法帶來了挑戰(zhàn)。現(xiàn)有的重復數(shù)據(jù)清理方法存在著檢測結(jié)果不全面，對歧義實體的檢測精確度不高，檢測時間花費長，計算復雜性高等問題。因此，重復數(shù)據(jù)的清理研究需從重復數(shù)據(jù)檢測結(jié)果的全面、準確、高效等方面展開。這三個方

2、面在一定程度上相互制約，一味追求高的查全率會影響查準率，一味追求高效也會對查全查準產(chǎn)生影響。如何使這三個方面達到一個平衡點，是重復數(shù)據(jù)檢測研究的重點。基于語義關(guān)聯(lián)的重復數(shù)據(jù)清理，是通過數(shù)據(jù)之間的語義關(guān)系來檢測數(shù)據(jù)之間的重復性、區(qū)分模糊信息、過濾掉不相干的數(shù)據(jù)，解決去重問題中大規(guī)模數(shù)據(jù)比較帶來檢測效率問題。本研究群主要內(nèi)容包括：
　　 ⑴針對數(shù)據(jù)源的多樣性、數(shù)據(jù)記錄之間的差異對重復數(shù)據(jù)檢測的查全的影響，提出一種基于長度過濾動態(tài)權(quán)值

3、的數(shù)據(jù)比較方法。該方法首先針對重復數(shù)據(jù)檢測的兩兩數(shù)據(jù)對的比較的計算量大的問題，在數(shù)據(jù)對比較前，根據(jù)數(shù)據(jù)對的長度差，過濾掉不可能是重復數(shù)據(jù)的數(shù)據(jù)對。減少參加數(shù)據(jù)比對的數(shù)據(jù)對的個數(shù)，以提高檢測的效率。然后針對不同數(shù)據(jù)源之間數(shù)據(jù)記錄的差異影響檢測的查全問題，動態(tài)的為記錄各屬性賦權(quán)值，減少記錄之間因?qū)傩匀笔ο嗨贫扔嬎愕挠绊懀岣咧貜蜋z測查全率。最后對現(xiàn)有的檢測方法對查全的問題進行了改進，提出一種基于動態(tài)滑動窗口的數(shù)據(jù)比較策略。該策略以動態(tài)的滑

4、動窗口來控制數(shù)據(jù)與其它數(shù)據(jù)比較，進一步提高重復數(shù)據(jù)的查全率。該方法平均查全率，查全率和查準率調(diào)合平均值，均高于現(xiàn)有的檢測方法，在提高查全率的同時，沒有降低檢測的查準率。
　　 ⑵針對重名、多詞一義等歧義實體給重復數(shù)據(jù)檢測帶來的影響，提高重復數(shù)據(jù)清理的準確性的問題，提出一種基于語義關(guān)聯(lián)的實體識別方法。該方法跳出實體數(shù)據(jù)本身的比較，通過分析實體之間不同類別的語義關(guān)聯(lián)與其作用，并利用實體之間的兩種類別的語義關(guān)聯(lián)—相似語義關(guān)聯(lián)和關(guān)聯(lián)語義

5、關(guān)聯(lián)，將歧義實體進行聚類和合并處理，以達到消除實體歧義模糊問題的目的。
　　 ⑶針對數(shù)據(jù)量的急劇增加影響重復數(shù)據(jù)檢測效率的問題，為了更進一步的提高在大規(guī)模異構(gòu)數(shù)據(jù)整合中而產(chǎn)生的重復數(shù)據(jù)的檢測的效率，提出一種“最可能重復”的數(shù)據(jù)集劃分思想，該思想將最可能是重復的數(shù)據(jù)劃分在一個部分里，以減小重復數(shù)據(jù)檢測的范圍?；诖怂枷虢Y(jié)合數(shù)據(jù)的語義鏈網(wǎng)絡(luò)提出一種基于語義關(guān)聯(lián)的數(shù)據(jù)清理策略。該策略利用數(shù)據(jù)之間的語義鏈關(guān)系的分析和推理，將最可能是重復

6、數(shù)據(jù)的數(shù)據(jù)聚類在同一部分中，以達到減小數(shù)據(jù)比較次數(shù)和提高檢測精度，提高檢測效率的目的。該方法在提高檢測效率的同時，查全查準率的調(diào)合平均值高于現(xiàn)有的重復數(shù)據(jù)檢測方法。提高效率的同時，沒有對檢測的查全查準率帶來影響。
　　 ⑷隨著語義網(wǎng)技術(shù)的發(fā)展，關(guān)聯(lián)圖數(shù)據(jù)的大量出現(xiàn)也帶來了新的挑戰(zhàn)。針對關(guān)聯(lián)數(shù)據(jù)中存在的重復數(shù)據(jù)清理的問題，提出一種K-半徑子圖比較方法。該方法針對關(guān)聯(lián)數(shù)據(jù)間的錯綜復雜的關(guān)系，提出一種關(guān)聯(lián)層次圖模型。該模型可以將關(guān)聯(lián)數(shù)