基于屬性權(quán)重和標(biāo)記記錄的實體解析技術(shù).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)增長的速度越來越快，實體解析的重要性也變得尤為突出。實體解析是將在同一個數(shù)據(jù)源或者不同數(shù)據(jù)源中，指向現(xiàn)實世界同一實體的元組識別出來并合并的過程。因為數(shù)據(jù)在存儲的過程中可能存在拼寫或者排版錯誤，也可能相同實體存在不同的表達形式，而數(shù)據(jù)又沒有唯一的標(biāo)識符，所以實體解析的作用不可輕視。
　　如何高效而準(zhǔn)確的將指向同一實體的記錄識別出來一直是研究人員不懈追求的目標(biāo)。在基于規(guī)則的匹配算法中，大多數(shù)算法是將所有的屬性

2、都作為匹配屬性進行計算，并且認(rèn)為各個屬性的權(quán)重都是一樣的，然而這樣不能體現(xiàn)關(guān)鍵屬性的重要性，容易造成實體解析的錯誤;識別出匹配記錄之后，很多研究都不對這些匹配記錄進行處理，容易造成記錄比較的冗余，使得實體解析的速度減慢。因此，本文提出了基于屬性權(quán)重和標(biāo)記記錄的實體解析技術(shù)來提高實體解析的準(zhǔn)確率和效率。
　　首先，主要針對關(guān)系數(shù)據(jù)庫中實體解析準(zhǔn)確性的問題，本文提出了基于屬性權(quán)重的實體識別方法，主要采用信息增益的方法和概率統(tǒng)計的方法來

3、計算記錄屬性的權(quán)重，用來代表該屬性在記錄中的重要性，達到提高實體解析準(zhǔn)確度的目的。并且在此基礎(chǔ)上采用top-k技術(shù)，選擇出最佳匹配屬性集合，減少匹配屬性的個數(shù)，從而加快了實體解析的速度。
　　其次，針對提高實體解析的效率問題，本文還提出了基于標(biāo)記記錄的合并算法，是指將識別出來的指向同一實體的多條記錄進行合并，并且對參與合并操作的記錄進行標(biāo)記，這樣避免相關(guān)標(biāo)記的記錄再次比較，可以減少記錄比較的次數(shù)，從而提高了實體解析的效率。